DataLife Engine > Для Вебмастера > Стабильная работа сервера при поисковой индексации Yandex
Стабильная работа сервера при поисковой индексации Yandex28-03-2012, 20:33. Разместил: admin |
Для защиты сервера от перегруза со стороны Yandex поисковыми роботами, есть полезная директива Crawl-delay для файла robots.txt Директива Crawl-delay Если сервер сильно нагружен и не успевает отрабатывать запросы на закачку, воспользуйтесь директивой "Crawl-delay". Она позволяет задать поисковому роботу минимальный период времени (в секундах) между концом закачки одной страницы и началом закачки следующей. В целях совместимости с роботами, которые не полностью следуют стандарту при обработке robots.txt, директиву "Crawl-delay" необходимо добавлять в группе, начинающейся с записи "User-Agent", непосредственно после директив "Disallow" ("Allow"). Поисковый робот Яндекса поддерживает дробные значения Crawl-Delay, например, 0.5. Это не гарантирует, что поисковый робот будет заходить на ваш сайт каждые полсекунды, но дает роботу больше свободы и позволяет ускорить обход сайта. Примеры: User-agent: Yandex Crawl-delay: 2 # задает таймаут в 2 секунды User-agent: * Disallow: /search Crawl-delay: 4.5 # задает таймаут в 4.5 секунды Информация взята с сайта Яндекс Вебмастер Вернуться назад |