Категории

AdsBot-Google

Про роботов поисковых систем мы уже писали. Теперь стоит подробнее рассмотреть одного из этих роботов — AdsBot-Google. Кликайте по ссылке, расположенной ниже и узнайте, что это за робот чем он занимается.

Что такое AdsBot-Google

AdsBot-Google — это один из ботов поисковой системы Гугл, созданный для поиска, сканирования и определения уровня качества страниц сайтов, на которые ведут ссылки из системы контекстной рекламы Google Ads. Используется AdsBot-Google для проверки качества и выявления релевантности объявления. С его помощью Гугл позволяет задавать оптимальную цену клика. Кроме того, с помощью AdsBot-Google в некоторых случаях поисковая система получает данные о страницах, закрытых для индексации в robots.txt.

Как контролировать доступ AdsBot-Google к веб-ресурсу

Для контроля доступа бота AdsBot-Google к сайту можно применять разные методы:

  1. Редактирование файла robots.txt;
  2. Использование метатегов;
  3. Изменение файла .htaccess.

Рассмотрим пример управления доступом к сайту для AdsBot-Google путем редактирования файла robots.txt и применения метатегов.

Редактирование файла robots.txt

Файл robots.txt должен находиться в корневой папке сайта. Как правило, роботы поисковиков в первую очередь находят и исследуют именно этот файл, а уже после него отправляются «гулять» по остальным страницам. Если они обнаружат в robots.txt запреты на индексирование тех или иных страниц, они учтут их при передаче собранных данных поисковой системе.

Для того, чтобы запретить боту AdsBot-Google сканировать какую-либо часть ресурса, нужно открыть robots.txt и прописать в нем:

User-agent: AdsBot-Google
Disallow:/

Использование метатегов

Альтернативный вариант — запрет доступа к определенной части страницы для AdsBot-Google через метатеги. Чтобы реализовать это, необходимо перед этой самой «частью страницы» вставить открывающий метатег:

<meta name=»AdsBot-Google» content=»noindex»>

Закрывающий метатег прописывается после окончания части страницы, которую нужно скрыть от бота. Выглядит он так:

<meta name=»AdsBot-Google» content=»index»>

Следующая MSNbot
Оглавление