Искать  
 
   
 
Робот Googlebot обнаружил чрезвычайно большое количество URL-адресов на вашем сайте
Отправлено: 31 Март 2011 12:22 P.M.   [ Игнорировать ]
Администратор
Avatar
RankRankRankRank
Всего сообщений:  1423
Зарегистрирован  2007-12-27

Как лучше решить данную проблему на ExpressionEngine?

Робот Googlebot столкнулся с проблемами при сканировании вашего сайта http://*****.ru/.

Робот Googlebot обнаружил чрезвычайно большое количество ссылок на вашем сайте. Это может свидетельствовать о проблеме, связанной со структурой URL-адресов сайта. Возможно, робот Googlebot без необходимости сканирует большое количество различных URL, указывающих на идентичное или похожее содержание, либо сканирует разделы сайта, не требующие сканирования. В результате робот Googlebot может потреблять гораздо больше ресурсов канала передачи данных, чем необходимо. Кроме того, есть вероятность, что он не сможет полностью просканировать все содержание сайта.

Подробнее об этой проблеме

Приводим примерный список URL-адресов с возможными проблемами. Обратите внимание, что данный список может быть неполным.

http://*****.ru/archive/C11/P150/27/11/{/official
http://*****.ru/archive/narod/C8/29/P150/19/26
http://*****.ru/archive/C31/26/23/P90/29
http://*****.ru/archive/news/C8/10/24/07/17
http://*****.ru/archive/news/C31/P30/29/20
http://*****.ru/archive/2009/07/11/29/24
http://*****.ru/archive/narod/C15/P0/14/08/08
http://*****.ru/archive/news/C13/01/29/12/27
http://*****.ru/archive/2008/09/16/P300/09/25/24/22/08
http://*****.ru/archive/news/C8/10/23/02/18
http://*****.ru/archive/narod/C8/27/04/08/01
http://*****.ru/archive/news/2010/05/08/
http://*****.ru/archive/news/C12/19/P120/26/17
http://*****.ru/archive/2009/05/03/05/27/26
http://*****.ru/archive/narod/C8/P0/01/28/23
http://*****.ru/archive/2009/07/P150/24/27/21/27
http://*****.ru/archive/news/2009/10/03/12/12
http://*****.ru/archive/2008/09/16/P300/10/10/17/09/18
http://*****.ru/archive/narod/C8/18/23/14
http://*****.ru/archive/2009/08/06/12/02/10
http://*****.ru/archive/2008/08/30/25/22
http://*****.ru/archive/2010/06/16/25/10
http://*****.ru/archive/news/C14/01/21/26/30
http://*****.ru/archive/2010/07/03/13/12/06
http://*****.ru/archive/news/2010/03/30/09/26
http://*****.ru/archive/2009/02/22/P0/26/04
http://*****.ru/archive/narod/C8/04/20/18/13
http://*****.ru/archive/news/2010/05/30/20/02
http://*****.ru/archive/C13/P210/08/25/12
http://*****.ru/archive/news/C8/10/21/27/24
http://*****.ru/archive/news/C12/15/30/20/18
http://*****.ru/archive/narod/2009/03/19/P40/21/04/29
http://*****.ru/archive/narod/C8/31/P90/18
http://*****.ru/archive/narod/C14/P0/27/20/28
http://*****.ru/archive/news/C13/04/09/15/18
http://*****.ru/archive/2010/07/25/26/30/12
http://*****.ru/archive/2008/09/16/P300/13/28/28/07
http://*****.ru/archive/narod/C8/03/05/P10/23
http://*****.ru/archive/news/2010/05/26/24/09
http://*****.ru/archive/2009/05/16/14/31/03
http://*****.ru/archive/news/C13/15/20/18
http://*****.ru/archive/C13/P1080/02/21/28
http://*****.ru/archive/narod/2010/10/27/02/09
http://*****.ru/archive/2009/05/12/P0/23/06
http://*****.ru/archive/news/C8/P70/08/27/20
http://*****.ru/archive/C31/26/07/P210/05/25
http://*****.ru/archive/C13/P270/08/12/07
http://*****.ru/archive/C13/P210/03/21/10

 Подпись 

ExpressionEngine - SEO-ориентированный движок

Профиль
 
 
Отправлено: 31 Март 2011 02:28 P.M.   [ Игнорировать ]   [ # 1 ]
Member
Avatar
RankRankRank
Всего сообщений:  224
Зарегистрирован  2010-11-20

In robots.txt

User-agentGooglebot
Disallow
: /archive
Профиль
 
 
Отправлено: 31 Март 2011 11:58 P.M.   [ Игнорировать ]   [ # 2 ]
Администратор
Avatar
RankRankRankRank
Всего сообщений:  1423
Зарегистрирован  2007-12-27
Afgan - 31 Март 2011 02:28 P.M.

In robots.txt

User-agentGooglebot
Disallow
: /archive

не повлияет ли это на индексацию всех страниц сайта, на которых возможно не будет ссылки.

 Подпись 

ExpressionEngine - SEO-ориентированный движок

Профиль
 
 
Отправлено: 01 Апрель 2011 01:37 A.M.   [ Игнорировать ]   [ # 3 ]
Member
Avatar
RankRankRank
Всего сообщений:  325
Зарегистрирован  2008-06-16

Это влияет только на архив.

А что мешает подключить модуль sitemap и генерить он-лайн карту сайта для того же Гугла? Тогда он же сам и быстренько узнает о всех новинках на сайте.

 Подпись 

Всё что делается - не всё нами принимается...

Профиль
 
 
Отправлено: 01 Апрель 2011 10:41 A.M.   [ Игнорировать ]   [ # 4 ]
Member
Avatar
RankRankRank
Всего сообщений:  224
Зарегистрирован  2010-11-20

Вариант 2:

Добавляете статус - archived
Все, что старше определенного возраста автоматом получает этот статус.
Соответственно в разделах и прочих выборках материалы с этим статусом
не учавствуют. При этом все материалы индексируются, а нагрузка на
скрипт в обычном режиме уменьшается в РАЗЫ!

Кстати, примерно так реализован принцип работы новостной CMS Vivvo.
Полмиллиона записей для нее - нормальный режим.

Профиль
 
 
Отправлено: 03 Апрель 2011 04:41 P.M.   [ Игнорировать ]   [ # 5 ]
Администратор
Avatar
RankRankRankRank
Всего сообщений:  1423
Зарегистрирован  2007-12-27

Спасибо.
Вопрос почти похожий: как поступать со ссылками типа /catalog/P10 (P20, P30 и т.д.) и /catalog/category/super/P10 (P20, P30 и т.д.)
По обоим ссылкам будут одинаковые материалы.
И что делать, если уже часть проиндексированна. Можно ли запретить только /catalog/P10 (P20, P30 и т.д.) от индексации и как?

 Подпись 

ExpressionEngine - SEO-ориентированный движок

Профиль
 
 
Отправлено: 12 Март 2012 08:08 P.M.   [ Игнорировать ]   [ # 6 ]
Новичок
Rank
Всего сообщений:  6
Зарегистрирован  2010-03-31

тоже интересует ответ про /catalog/category/super/P10 (P20, P30 и т.д.)

Профиль
 
 
Отправлено: 23 Февраль 2014 11:42 P.M.   [ Игнорировать ]   [ # 7 ]
Новичок
Rank
Всего сообщений:  1
Зарегистрирован  2014-02-23

Присоединяюсь к вопросу.

 Подпись 

помогаю выбирать детские коляски

Профиль
 
 
Отправлено: 04 Август 2014 10:45 A.M.   [ Игнорировать ]   [ # 8 ]
Новичок
Avatar
Rank
Всего сообщений:  1
Зарегистрирован  2014-08-04

Ждем ответа.

Профиль
 
 
Отправлено: 14 Август 2014 11:15 A.M.   [ Игнорировать ]   [ # 9 ]
Администратор
Avatar
RankRank
Всего сообщений:  92
Зарегистрирован  2012-04-13

https://support.google.com/webmasters/answer/139066?hl=ru

 Подпись 

[ EElover / FDCore ]

Профиль
 
 
Отправлено: 18 Сентябрь 2017 06:15 P.M.   [ Игнорировать ]   [ # 10 ]
Новичок
Avatar
Rank
Всего сообщений:  20
Зарегистрирован  2017-09-12

Послушаю.

Профиль