Категории

Зеркальщик

Вы слышали про робота Зеркальщика? Если нет, тогда открывайте наш материал в WIKI-разделе по ссылке ниже и узнайте, что это за робот, какие данные с сайтов он исследует и т.д.

Зеркальщик — что это

Зеркальщик — это бот поисковой системы, задача которого заключается в склейке зеркал веб-ресурсов после их обнаружения. Главная цель Зеркальщика — обеспечить максимально возможную чистоту базы данных поисковой системы (убрать из нее все продублированные сайты). 

Зеркало веб-ресурса — идентичный основному сайт (его полная копия), который имеет другой домен. Зеркалирование может произойти в разных случаях, среди которых:

  • распределение чрезмерной нагрузки на сервер, где располагается очень посещаемый веб-проект;
  • сохранение резервной копии сайта;
  • «бронирование» доменов — покупка похожих по названиям, созвучности и другим признакам доменов;
  • создание резервной копии контента с основного сайта и т.д.

Как только бот-зеркальщик найдет несколько сайтов с одной и той же информацией на их страницах, он выберет один ресурс и назначит его главным, а все остальные будут полностью исключены из поисковой выдачи. Чтобы поисковая система определила главным ресурс тот, который нам нужно назначить основным, Зеркальщику нужно показать, где этот самый главный сайт, а где его зеркала. Также нужно помнить, что апдейты Зеркальщика производятся примерно каждые 2-12 недель.

Порядок склейки доменов

Если речь идет о поисковой системе Яндекс, то информацию для Зеркальщика нужно прописывать в файле robots.txt, используя директиву Host. Конечно, правка этого файла не даст 100% гарантии, что бот поисковика примет данные, как аксиому, но значение директивы он будет учитывать, поэтому игнорировать эти факторы нельзя. 

Host прописывается таким образом:

User-agent: Yandex

Disallow: /название директории или файла/

Host: www.site.com

Как только Зеркальщик перейдет на сайт и склеит его зеркала, тИЦ всех зеркал будет передан основному ресурсу. 

301 редирект

Вышеописанный метод работает только с роботом-зеркальщиком Яндекса, поэтому для всех остальных поисковых систем нужно правильно настроить 301 серверный подокументный редирект но только после того, как робот Яндекса завершит склейку). Настроив 301 редирект, посетители сайта или боты, которые переходят на зеркальный веб-ресурс и запрашивают с него какие-либо данные, будут автоматически перенаправлены на основной сайт (главный). 

Чтобы создать редирект 301, необходимо использовать модуль mod_rewrite, который прописывается в файле .htaccess из корневого каталога сайта. Что конкретно нужно указать в этом файле:

RewriteEngine On

RewriteBase /

RewriteCond %{HTTP_HOST} ^ (www\.)?mysite2\.com$ [OR]

RewriteCond %{HTTP_HOST} ^ www\.mysite1\.com$

RewriteRule ^ (.*)$ http://mysite1.com/$1 [R=301,L] 

Предыдущая Возраст страницы
Следующая Кэш поисковой системы
Оглавление