# eArhiva.mk - Robots.txt # Last updated: 2026-08-08 # # ВАЖНО: тука НЕ се набројуваат приватните рути (/Admin, /Settings, /api/, ...). # robots.txt е јавен фајл — список на „забранети" патеки е готова мапа на внатрешноста # за секој што ја бара. Заштитата на тие страници е авторизацијата, не овој фајл. # Спречувањето на индексирање се прави со заглавјето `X-Robots-Tag: noindex`, кое се # поставува серверски во eArhiva.Web/Program.cs — таму списокот не е јавен. # Види: docs/6_operations/security-hardening-earhiva-mk.md (Задача 7) User-agent: * Allow: / # Sitemap location Sitemap: https://earhiva.mk/sitemap.xml # Crawl-delay (be gentle on server) Crawl-delay: 1 # Specific rules for major search engines User-agent: Googlebot Allow: / Crawl-delay: 0 User-agent: Bingbot Allow: / Crawl-delay: 0 User-agent: Slurp Allow: / Crawl-delay: 1 # Block bad bots User-agent: AhrefsBot Crawl-delay: 10 User-agent: SemrushBot Crawl-delay: 10 User-agent: MJ12bot Disallow: / User-agent: dotbot Disallow: /