Robots.txt je malý textový soubor uložený v kořeni webu, tedy na adrese vasedomena.cz/robots.txt. Slouží jako pokyn pro vyhledávací roboty (programy Googlu a dalších vyhledávačů, které si procházejí stránky) a říká jim, kam smějí a kam ne. Co je robots.txt názorně: cedule u vchodu s nápisem, do kterých místností je vstup vítaný.
Obsah je jednoduchý – několik řádků, kde User-agent určuje, kterého robota se pravidlo týká, Disallow zakazuje část webu a Allow naopak povoluje. Typicky se zakazují administrace, výsledky vyhledávání na webu nebo adresy s dlouhým query stringem, které by ve výsledcích vyhledávání jen zabíraly místo.
Velmi důležité upozornění: robots.txt není bezpečnostní opatření. Je to jen zdvořilá prosba, kterou slušné vyhledávače respektují, ale kdokoli jiný ji může ignorovat – a soubor si navíc může přečíst každý návštěvník. Zakázaná adresa tak zůstává veřejně dostupná komukoli, kdo ji zná.
Na co si dát pozor:
- Citlivý obsah chraňte heslem, ne zákazem v robots.txt – jinak se k němu dostane každý.
- Nevypisujte tam tajné cesty – vyjmenováním adresáře v souboru na něj naopak upozorníte.
- Nezakazujte omylem celý web – řádek Disallow: / vyhodí Vaše stránky z vyhledávání, což se stává hlavně po přenosu z testovací verze.
- Zákaz procházení neznamená smazání z výsledků – k tomu slouží jiný nástroj, značka noindex přímo ve stránce.
Do robots.txt patří také řádek Sitemap: s adresou Vaší sitemapy, například Sitemap: https://vasedomena.cz/sitemap.xml. Roboti si jej přečtou a seznam stránek si stáhnou sami, aniž byste jej museli kamkoli zadávat.
Soubor vytvoříte v obyčejném textovém editoru a nahrajete jej přes FTP do kořenové složky webu. WordPress a další systémy jej často spravují samy nebo přes SEO plugin, takže do něj většinou stačí jen občas nahlédnout.