Как известно у движка есть такая функция как “Снижения активности посетителей”, которая позволяет блокировать пользователей, которые превысили число загружаемых ими страниц за определенный промежуток времени.

А как влияет данная функция на поисковые системы? Распространяется ли это ограничение на поисковики. Т.е. будет ли у них возможность сканировать сайт целиком без проблем?

Всем спасибо за ответы

Думаю да. Но проблема в том что если сервер слабенький, и вам приходится бороться с нагрузкой на страницы, это уже само по себе будет влиять на индексацию поисковиками. Например Гуугл, оценивая скорость загрузки ваших страниц, по умолчанию сам выбирает с какой частотой запрашивать страницы для индексации. То есть замкнутый круг, и для улучшения индексации, стоит подумать об оптимизации и увеличении скорости загрузки страницы. Кстати некоторые поисковые боты (яху) могут неплохо нагрузить сервак, и их лучше обрезать (кол-во запросов) на входе в хтаксес роботс

Могу посоветовать кешировать части шаблонов. Для этого есть замечательный модуль у солспейсов (платный). Это позволило снизить нагрузки на сервер, уменьшиить время загрузки страницы и тем самым улучшить качество сайта для гуугла. Такой подход позволит вам не так жестко ограничивать особенно “быстрых” пользователей этой самой встроенной функцией.

указываем в robots.txt нужное значение для Crawl-delay: и проблема решена

тьфу... Да точно попутал хтаксесс и роботс )

Спасибо за ответы, не знал про Crawl-delay
А что будет означать “Crawl-delay: 4.5” - он будет грузить по 1 странице/4,5 сек или по 100 страниц/4,5 сек? =)

вот здесь: http://help.yandex.ru/webmaster/?id=996567#1022359

Директива Crawl-delay.

Если сервер сильно нагружен и не успевает отрабатывать запросы на закачку, воспользуйтесь директивой “Crawl-delay”. Она позволяет задать поисковому роботу минимальный период времени (в секундах) между концом закачки одной страницы и началом закачки следующей. В целях совместимости с роботами, которые не полностью следуют стандарту при обработке robots.txt, директиву “Crawl-delay” необходимо добавлять в группе, начинающейся с записи “User-Agent”, непосредственно после директив “Disallow” (“Allow”).

Поисковый робот Яндекса поддерживает дробные значения Crawl-Delay, например, 0.5. Это не гарантирует, что поисковый робот будет заходить на ваш сайт каждые полсекунды, но дает роботу больше свободы и позволяет ускорить обход сайта.

Примеры:

да, здесь и посмотрел ликбез, но не сказано какое количество страниц он берет с сайта за этот промежуток времени...

user24 - 29 Август 2010 07:52 P.M.

да, здесь и посмотрел ликбез, но не сказано какое количество страниц он берет с сайта за этот промежуток времени...

Она позволяет задать поисковому роботу минимальный период времени (в секундах) между концом закачки одной страницы и началом закачки следующей - это не ответ?

да, ответ, не заметил, спасибо 
*PARDON*