Heslo · Slovníček
Robots.txt
Textový soubor v kořeni webu, kterým se robotům říká, kam smí a kam ne. Neřeší indexaci, jen procházení.
Textový soubor v kořeni webu, kterým se robotům říká, kam smí a kam ne. Neřeší indexaci, jen procházení.
Jeden zapomenutý řádek a web zmizí z Googlu i ze Seznamu. Projděte si syntaxi robots.txt, pravidlo nejdelší shody i rozhodnutí, jestli pustit GPTBot.
AI přehledy, ChatGPT i Perplexity citují jen to, co si najdou a ověří. Poradím, které roboty pustit, jak psát odstavce k citaci a co s llms.txt.