Роботы поисковых систем — неотъемлемая часть всех поисковиков. Сегодня мы рассмотрим принцип работы поисковых роботов Google и Яндекс, какую работу выполняют роботы поисковых машин. Так же посмотрим на программы поисковых роботов, узнаем базы и названия поисковых роботов этих двух поисковых систем. И много-много еще чего интересного. Но главное, все это я расскажу вам на понятном языке, без заумных фраз и выражений. Поэтому, если вы продвинутый пользователь интернета и вдруг услышите элементарные вещи, просьба тапками не кидаться! Многие, кто хочет узнать о роботах поисковых систем, этих вещей не знает и им нужно с чего-то начинать. 

Поисковой робот Google

Для сканирования страниц Google использует сразу несколько поисковых роботов. Все они помогают лучше узнать контент страницы и передать его на сервера поисковика для обработки. Да, да, поисковой робот Google не анализирует и не ранжирует ваши страницы, он вообще ничего с ними не делает. Он лишь собирает информацию и передает ее для анализа. И вот тут кроется одна интересная штука. Роботы поисковых машин, не обязательно это поисковой робот Google, даже это может быть робот социальных сетей или других сайтов (очень многие ресурсы в сети создают себе роботов, помогающих сканировать контент), обладают таким принципом работы, что вряд ли узнают о существовании страницы на вашем сайте, если вы не покажите на нее ни одной ссылкой или не введете адрес на нее через панель инструментов в вебмастере. Поэтому, если вы хотите, чтобы страница попала в индекс поисковиков, на нее обязательно должны вести ссылки и чем больше их будет, тем лучше.

Теперь давайте поговорим о том, как называют поисковых роботов Google и какую работу выполняет роботы поисковых систем.

База поисковых роботов Google

• Googlebot – это основной робот Google, и поэтому в свою базу поисковых роботов я его поместил самым первым. Он создан для индексации новых страниц сайтов, а также для поиска изменений на существующих страницах.
• Mediapartners-Google – этого робота Google создала для своей рекламной сети AdSense.
• APIs-Google – этот агент пользователя применяется для отправки push-уведомлений. Как правило эти уведомления разработчики используют для того, чтобы не перезагружать сервера.
• AdsBot-Google – еще один робот от Google. Его предназначение — проверять качество рекламы на страницах с десктопной версткой (сайты для стационарах компьютеров)
• AdsBot-Google-Mobile — то же самое что и предыдущий собрат, но он проверяет качество рекламы на мобильных устройствах
• Googlebot-Image (Googlebot) – как видно из названия, основная работа этого поискового робота, индексировать изображения на различных страницах в интернете.
• Googlebot-News (Googlebot) – этот робот индексирует новости для сервиса Google Новости
• Googlebot-Video (Googlebot) – этот робот создан для поиска и индескации видео по сети.
• AdsBot-Google-Mobile-Apps – еще один поисковой робот Google, он проверяет качество рекламы в Android-приложениях

Поисковой робот Яндекс

Так же, как и Google Яндекс тоже обладает своими поисковыми роботами. По сути, они совершают ту же работу, что и у буржуйского поисковика, разве что собирают информацию для сервисов Яндекса. Тем не менее, давайте я так же выложу базу поисковых роботов Яндекса, как я это делал для Google. Вы вкратце посмотрите, что за что отвечает, и если будет интересно, то почитаете более подробно про каждый из них.

База поисковых роботов Яндекс

• YandexBot — Основной робот Яндекса, индексирует все новые страницы в сети и изменения на уже существующих.
• YandexDirect – рекламный робот, созданный для сервиса Яндекс Диркет. Сканирует страницы подключенные к этому сервису.
• YandexImages – здесь думаю все ясно из названия, робот создан для поиска изображений в сети.
• YandexVideoParser – здесь так же название в помощь, робот для поиска видео в сети.
• YandexNews – индексирует информацию для сервиса Яндекс Новости
• YandexMetrika — робот сбора статистики Яндекс Метрики
• YandexMobileBot – передает сайты для анализа присутствия мобильной верстки сайта. Причем, здесь не важно, имеется ли у сайта мобильная версия или он просто имеет адаптивный дизайн.
• YandexPagechecker – передает данные на сервер для проверки валидности микроразметки на ресурсе.
• YandexMarket — робот сбора статистики для Яндекс Маркета;
• YaDirectFetcher – индексирует страницы с рекламными объявлениями и передает их на анализ для их более точного отображения целевой аудитории.
• YandexAccessibilityBot – проверяет доступна ли страница ресурса для пользователя

Это далеко не весь список поисковых роботов от Яндекса. Я собрал в этой базе лишь основные (на мой скромный взгляд). 

Какую работу выполняют роботы поисковых машин

Как я уже писал выше, основаная работа, которую выполняют роботы поисковых машин – это собирать информацию и передавать ее на сервер, где она анализируется при помощи других роботов, алгоритмов или даже людьми. В моей базе поисковых роботов, которую я приводил выше, вы заметили, что таких роботов огромное количество и каждый из них выполняет свою задачу. Поэтому и называют поисковых роботов по-разному. В зависимости от производимой им работы. Есть роботы пауки или краулеры, к ним относятся основные роботы каждой из поисковых систем (Googlebot, YandexBot и пр.) и некоторые другие. В этот кластер поисковых роботов относят роботы, основной работой которых является индексация веб-ресурсов. Существуют так же «дятлы», их основной задачей является простучать сайт, чтобы определить доступность страницы или какого-то конкретного элемента на станице. Поэтому этого робота и называют Дятел. К примеру, к таким роботам относится YandexAccessibilityBot. Сейчас вы узнали, как называют поискового робота, теперь предлагаю поговорить о том, как узнать приходил ли поисковой робот к вам на сайт.

Как узнать приходил ли поисковой робот

Тут все очень просто. Можно посмотреть логи сервера. У каждого своя админ-панель управления сайтом, поэтому универсальную инструкцию вряд ли мне удастся дать. Но все же я постараюсь адаптивный для всех ответ. В вашей панели управления сайтом должна быть вкладка Логи, Журнал запросов или что что подобное. В ней как раз и хранятся логи.  Приложу для нагладяности скриншот, как это может выглядеть.

Если вы предварительно включали сохранение логов под дням, то у вас будет примерно такая же картина, как на скриншоте ниже. Если нет, то архив записи логов будет по выбранному вами периоду.

Скачивайте или открывайте интересующий вас архив. Для примера мы хотим узнать, приходил ли поисковой робот 28 сентября, значит скачиваем архив лога за 28 число. Открываем его. И в записях ищем интересующих роботов поисковых систем. Названия роботов можно взять из базы поисковых роботов, что я приводил выше.

На худой конец, если вы не поймете где искать логи, попросите своего хостера дать вам мануал Как узнать приходил ли поисковой робот по логам вашего сервера.

Еще один способ узнать приходил ли поисковой робот, это подключить к своему сайту счетчики Яндекс Метрика. Здесь будем действовать по следующему плану:

Заходим в аналитику своего сайта и выбираем Отчеты > Стандартные отчеты > Мониторинг > Роботы

Теперь можете посмотреть, когда и сколько роботов заходило к вам на сайт

Сайт глазами поискового робота

Многих так же интересует вопрос, как посмотреть на сайт газами поискового робота. Ответить на него нам поможет Google Вебмастер. Если вы подключали его к своему сайту, то можете повторять за моими действиями и увидеть свой сайт глазами поискового робота. Если Вебмастер у вас не установлен, то просто посмотрите красивые картинки )))

И так, первым делом открываем панель Google Вебмастер по адресу https://www.google.com/webmasters/tools/home?hl=ru и выбираем сайт который мы хотим посмотреть глазами поискового робота. Для примера, я возьму этот сайт

Затем в левом столбце меню выбираем пункт Сканирование и подпункт Посмотреть как Googlebot

В открывшемся поле вбиваете любую страницу вашего сайта, которую вы хотите увидеть глазами поискового робота и жмете на кнопку Получить и отобразить

Робот начнет работать и по окончанию работы вы получите красивый результат. У меня это выглядело вот так:

Если же нажмете Сканирование, то увидите исходный текст страницы глазами Googlebot

На этом, пожалуй, я закончу сегодняшний обзор о роботах поисковых систем. Надеюсь вы узнали много нового о поисковых роботах Google и Яндекс. База поисковых роботов помогла вам лучше понять, какую работу выполняют роботы поисковых машин. Теперь вы точно будете знать, приходил ли поисковой робот на ваш сайт и даже смогли увидеть сайт глазами поискового робота. Если эта статья вам помогла, то буду признателен, если поделитесь ей в любой из социальных сетей, нажав на соответствующую кнопочку внизу страницы. На этом прощаюсь. Скоро на сайте появятся другие интересные и полезные статьи. Так что, до новых интересных встреч! источник