Robots.txt = soubor v textovém formátu pro Vyhledávací roboty Google, Seznamu aj. Ze souboru zjistí, které stránky nemají procházet.
K čemu je robots.txt dobrý?
Většinou nechcete, aby všechny stránky vašeho webu byly k nalezení ve výsledcích vyhledávání – SERP. Standardně se zakazujeme přístup do složky s administračním systémem. Některé CMS systémy mají Robots.txt vyřešený již po instalaci. Říkají robotům, ať neprocházejí položky s citlivými informacemi.
Umístění robots.txt
Soubor umísťujte vždy do rootu (kořenovém adresáři) webu. Vyhledávací robot se tam vždy podívá nejdříve a zjistí, kam má přístup. Pojmenujte jej „robots.txt“ – vše malými písmeny.