Купить SSD Хостинг   

WebHelpCenter.ru Все что может пригодится вебмастеру, администратору сервера, хостинга, программисту и новичку в интернете

Сети
Поиск по сайту
Разделы сайта
Подробнее о...
Календарь
«    Сентябрь 2017    »
ПнВтСрЧтПтСбВс
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
 
Архив новостей
Полезное
Облако тегов
Популярные новости
Скачать Игры бесплатно
Скачать alawar Игры бесплатно
Друзья
Самое дорогое

Стабильная работа сервера при поисковой индексации Yandex


Для защиты сервера от перегруза со стороны Yandex поисковыми роботами, есть полезная директива Crawl-delay для файла robots.txt

Директива Crawl-delay

Если сервер сильно нагружен и не успевает отрабатывать запросы на закачку, воспользуйтесь директивой "Crawl-delay". Она позволяет задать поисковому роботу минимальный период времени (в секундах) между концом закачки одной страницы и началом закачки следующей. В целях совместимости с роботами, которые не полностью следуют стандарту при обработке robots.txt, директиву "Crawl-delay" необходимо добавлять в группе, начинающейся с записи "User-Agent", непосредственно после директив "Disallow" ("Allow").

Поисковый робот Яндекса поддерживает дробные значения Crawl-Delay, например, 0.5. Это не гарантирует, что поисковый робот будет заходить на ваш сайт каждые полсекунды, но дает роботу больше свободы и позволяет ускорить обход сайта.

Примеры:
User-agent: Yandex
Crawl-delay: 2 # задает таймаут в 2 секунды

User-agent: *
Disallow: /search
Crawl-delay: 4.5 # задает таймаут в 4.5 секунды
Опубликовал admin, 28-03-2012, 20:33 | Комментировать (0)