Heslo ve slovníčku
Robots.txt
Stručně
Textový soubor v kořeni webu, kterým se robotům říká, kam smí a kam ne. Neřeší indexaci, jen procházení.
Kde je a jak vypadá
Vždy v kořeni domény, tedy na adrese vasedomena.cz/robots.txt. Jinde ho robot nehledá. Obsahuje bloky pravidel pro jednotlivé roboty a odkaz na sitemapu.
Co se v něm nejčastěji pokazí
- Řádek
Disallow: /bez dalšího upřesnění. Zakáže celý web. Přenáší se z testovací verze. - Zakázané adresáře se soubory stylů a skriptů. Robot pak stránku nedokáže vykreslit a hodnotí ji jako rozbitou.
- Chybějící odkaz na sitemapu.
- Soubor vracející chybu 500. Robot to bere jako dočasný zákaz celého webu.
Roboti jazykových modelů
Přes robots.txt se rozhoduje i o přístupu robotů, kteří sbírají obsah pro jazykové modely. Rozlišují se dvě skupiny: ti, kteří staví index pro odpovědi a přivádějí návštěvy, a ti, kteří sbírají data pro trénink. Zakázat jde každý zvlášť.
Časté dotazy
Skryje robots.txt stránku před lidmi?
Ne. Soubor je veřejný a kdokoliv si ho může přečíst na adrese s lomítkem robots.txt. Zápisem v něm naopak upozorníte na to, kde máte něco, co nechcete ukazovat. Na skrývání slouží přihlášení nebo heslo, ne robots.txt.
Vypadne zakázaná stránka z výsledků?
Nemusí. Když na ni vedou odkazy z jiných webů, může se v indexu objevit bez popisku, jen s adresou. Na vyřazení slouží noindex, který ale robot uvidí jen tehdy, když stránku smí stáhnout.
Týká se to vašeho webu?
Kontrola projde web a řekne, jestli tenhle problém máte. Trvá to necelou minutu.