Поисковиков существует такая проблема: иногда они считают, что домены с WWW и без оного различны. Это очень неудобно.
Одной из возникающих при этом проблем является присваивание различных значений PR по сути одном домену.
Как можно склеить домен, где основным будет без WWW:
1. Для начала в файл robots.txt поместить следующий код:
User-Agent: Yandex
Host: site.ru
Директива Host: применима только для Яндекса. Гугл ее не понимает.
2. Ждем, когда Яндекс правильно склеит домен*
3. Делаем 301 редирект. Для этого в файле .htaccess прописываем:
RewriteEngine on
RewriteCond %{HTTP_HOST} ^www.site.ru
RewriteRule ^(.*)$ http://site.ru/$1 [R=301,L]
* По официальному заявлению Платона Щукина рекомендуется сначала дождаться правильного склеивания доменов Яндекса, а уже потом делать редирект. Иначе он всегда будет считать их разными доменами, т.к. по логике поисковика для склеивания зеркал он должен проиндексировать их оба и сравнить. В случае перенаправления он это сделать не сможет!
Еще как вариант: просто подождать... Но на практике оказывается, что это может затянуться надолго.
]]>]]>Робот Googlebot столкнулся с проблемами при сканировании вашего сайта http://*****.ru/.
Робот Googlebot обнаружил чрезвычайно большое количество ссылок на вашем сайте. Это может свидетельствовать о проблеме, связанной со структурой URL-адресов сайта. Возможно, робот Googlebot без необходимости сканирует большое количество различных URL, указывающих на идентичное или похожее содержание, либо сканирует разделы сайта, не требующие сканирования. В результате робот Googlebot может потреблять гораздо больше ресурсов канала передачи данных, чем необходимо. Кроме того, есть вероятность, что он не сможет полностью просканировать все содержание сайта.
Подробнее об этой проблеме
Приводим примерный список URL-адресов с возможными проблемами. Обратите внимание, что данный список может быть неполным.
http://*****.ru/archive/C11/P150/27/11/{/official
http://*****.ru/archive/narod/C8/29/P150/19/26
http://*****.ru/archive/C31/26/23/P90/29
http://*****.ru/archive/news/C8/10/24/07/17
http://*****.ru/archive/news/C31/P30/29/20
http://*****.ru/archive/2009/07/11/29/24
http://*****.ru/archive/narod/C15/P0/14/08/08
http://*****.ru/archive/news/C13/01/29/12/27
http://*****.ru/archive/2008/09/16/P300/09/25/24/22/08
http://*****.ru/archive/news/C8/10/23/02/18
http://*****.ru/archive/narod/C8/27/04/08/01
http://*****.ru/archive/news/2010/05/08/
http://*****.ru/archive/news/C12/19/P120/26/17
http://*****.ru/archive/2009/05/03/05/27/26
http://*****.ru/archive/narod/C8/P0/01/28/23
http://*****.ru/archive/2009/07/P150/24/27/21/27
http://*****.ru/archive/news/2009/10/03/12/12
http://*****.ru/archive/2008/09/16/P300/10/10/17/09/18
http://*****.ru/archive/narod/C8/18/23/14
http://*****.ru/archive/2009/08/06/12/02/10
http://*****.ru/archive/2008/08/30/25/22
http://*****.ru/archive/2010/06/16/25/10
http://*****.ru/archive/news/C14/01/21/26/30
http://*****.ru/archive/2010/07/03/13/12/06
http://*****.ru/archive/news/2010/03/30/09/26
http://*****.ru/archive/2009/02/22/P0/26/04
http://*****.ru/archive/narod/C8/04/20/18/13
http://*****.ru/archive/news/2010/05/30/20/02
http://*****.ru/archive/C13/P210/08/25/12
http://*****.ru/archive/news/C8/10/21/27/24
http://*****.ru/archive/news/C12/15/30/20/18
http://*****.ru/archive/narod/2009/03/19/P40/21/04/29
http://*****.ru/archive/narod/C8/31/P90/18
http://*****.ru/archive/narod/C14/P0/27/20/28
http://*****.ru/archive/news/C13/04/09/15/18
http://*****.ru/archive/2010/07/25/26/30/12
http://*****.ru/archive/2008/09/16/P300/13/28/28/07
http://*****.ru/archive/narod/C8/03/05/P10/23
http://*****.ru/archive/news/2010/05/26/24/09
http://*****.ru/archive/2009/05/16/14/31/03
http://*****.ru/archive/news/C13/15/20/18
http://*****.ru/archive/C13/P1080/02/21/28
http://*****.ru/archive/narod/2010/10/27/02/09
http://*****.ru/archive/2009/05/12/P0/23/06
http://*****.ru/archive/news/C8/P70/08/27/20
http://*****.ru/archive/C31/26/07/P210/05/25
http://*****.ru/archive/C13/P270/08/12/07
http://*****.ru/archive/C13/P210/03/21/10
Не важно, как они оказались в индексе, может какие-то внешние ссылки, но суть в том, что у них одинаковое содержание.
Как сделать перенаправление на настоящую страницу http://site_example.ru/catalog/trems/ ?
]]>
{if segment_3=='{entry_id}'}ок{if:else}{exp:redirect_to location="//catalog/view/{entry_id}"}{/if}
т.к. страница зацикливается...
Firefox определил, что сервер перенаправляет запрос на этот адрес таким образом, что он никогда не завершится.
есть вариант сделать все ссылки на entry_id, подождать пока проиндексируется, потом сделать на всех ссылках url_title 404 ошибку, но это плохой вариант, т.к. есть внешние ссылки на страницы и не хотелось бы, чтобы переходя по ним, человек попадал на 404 страницу.
Кто знает решение?
]]>Код:
<?xml version="1.0" encoding="UTF-8"?>
<urlset >
<url>
<loc>http://example.com/sample.html</loc>
<image:image>
<image:loc>http://example.com/image.jpg</image:loc>
</image:image>
<image:image>
<image:loc>http://example.com/photo.jpg</image:loc>
</image:image>
</url>
</urlset>
Не понял на счет строчки
<loc>http://example.com/sample.html</loc>
Что туда вписывать? Просто адрес главной страницы своего сайта?
Подробнее тут.
]]>