Štítek: AI roboti

Robots.txt: k čemu je a jak si jím nezavřít celý web

Jeden zapomenutý řádek a web zmizí z Googlu i ze Seznamu. Projděte si syntaxi robots.txt, pravidlo nejdelší shody i rozhodnutí, jestli pustit GPTBot.