Robots.txt - První soubor na Vašem webu

Robots.txt je soubor umístěný v kořenovém adresáři Vašeho webu - například www.vasewebovestranky.cz/robots.txt a obsahuje celou řadu informací, které pomáhají robotům fulltextového vyhledávače porozumět co smí a co nesmí indexovat. Zpravidla je to první soubor, který fulltextový vyhledávač z Vašeho webu čte.