Štítek: crawl budget

Robots.txt

Robots.txt určuje, které části webu smí roboti procházet. Není to nástroj na skrývání obsahu.

Heslo ve slovníčku

Crawl budget

Crawl budget je kapacita, kterou vyhledávač vyhradí na procházení jednoho webu.

Heslo ve slovníčku