Проверка robots txt Яндексом и Google

Проверка robots.txt яндексом и google

Каждый поисковый робот использует собственный алгоритм обработки файла robots.txt, так как есть директивы, предназначенные для определенных ПС . Поэтому, на мой взгляд, лучше составить их набор для каждого робота по отдельности и проверять его реакцию:

Пример из трех директив для разных роботов:

User-agent: *

User-agent: Yandex

User-agent: Googlebot

Ниже представлены примеры, как использовать вебмастер для проверки файла robots.txt онлайн в поисковых систем Яндекс и Google.

Проверка robots.txt в Google онлайн

Чтобы проверить robots.txt в Google онлайн необходимо пройти в панель для вебмастеров Google Search Console. "Панель инструментов" находится с левой стороны. Находим в ней "Инструмент проверки файла robots.txt", он находится в выпадающем меню "Сканирование".

проверка robots.txt в google онлайн
Проверка robots.txt в Google онлайн

После перехода будет открыто окно с вашим файлом robots.txt с датой последней версии.

Анализ robots.txt в вебмастере Google онлайн:

  1. Есть возможность напрямую редактировать свой файл robots.txt и сразу его отправить;
  2. Проверить заблокированные URL;
  3. Посмотреть ранее отправленные версии файла;
  4. Узнать об ошибках и предупреждениях;
  5. Открыть и посмотреть, как будет выглядеть ваш файл.
инструмент проверки файла robots.txt
Проверка файла robots.txt в Google онлайн

Если вы сомневаетесь, что оставлять открытым для индексации, а что закрывать от поисковиков или вам интересно узнать, как другие вебмастера составляют файл robots.txt, то информацию можно получить, набрав в поисковой строке http://site.ru/robots.txt

* вместо site.ru подставить интересующий вас домен

Google рекомендует оставлять открытыми таблицы стилей и скрипты для корректного отображения сайта в результате выдачи. Давайте это проверим.

Шаг 1:

Идем в "Панель инструментов", далее переходим в раздел "Посмотреть как Googlebot".

проверка файла robots.txt

Перед вами откроется диалоговое окно, в котором  вы можете указать определенную страницу, набрав ее адрес в поле, или оставить его пустым, чтобы получить содержание главной страницы. В результате вы получите ответ "Частично выполнено".

детальная проверка файла robots.txt

Кликаем по ответу "Частично выполнено" и переходим в отчет "Как видит ваш сайт робот Googlebot".

Внизу, как в моем случае, будет представлена таблица. Анализируем данную таблицу:

Будет указан адрес страницы, которая закрыта от индексации.

Мы можем посмотреть, где в файле robots.txt находится ошибка. Необходимо перейти по надписи: "Инструмент проверки файла robots.txt". Ошибка будет подсвечена красным цветом.

анализ файла robots.txt
Как видит ваш сайт робот Googlebot
ошибки в файле robots.txt
Ошибки в файле robots.txt подсвечены красным цветом

Делаем вывод: файлы .css и .js у меня закрыты от индексации для робота Google. Что в свою очередь может привести к некорректному отображению страницы в ПС Google (например, отображение шрифтов). Чтобы исправить данный недочет, необходимо в robots.txt для Google указать директиву Allow со следующими параметрами:

User-agent: Googlebot

Allow: *.css

Allow: *.js

Проверка robots.txt Яндексом онлайн

Для проверки файла robots.txt в Яндексе онлайн нам понадобится Яндекс Вебмастер. Переходим в него и слевой стороны находим "Инструменты - Анализ robots.txt". Заходим в него.

как проверить файл robots.txt в яндекс

Анализ robots.txt в вебмастере Яндекс онлайн:

  1. Можно напрямую редактировать свой файл robots.txt и сразу его отправить;
  2. Узнать об ошибках в вашем файле;
  3. Ниже есть поле, в котором можно указать список url, чтобы проверить их доступность для робота (может возникнуть такое, что вы закрыли от индексации важную информацию).
анализ robots.txt
Анализ файла robots.txt в Яндекс онлайн
проверить файл robots.txt в яндекс
Анализ файла robots.txt в Яндекс онлайн

Вывод: проверка и анализ robots.txt необходимы, так как они способствуют предотвратить или исправить недочеты в его создании.

Важно: для поискового робота Yandex и Mail необходимо указывать директиву Host, которая помогает определить главное зеркало сайта.

Пример написания:

Host: site.ru

или

Host: www.site.ru

Если у Вас возникли вопросы или нашли недочеты, оставляйте комментарий, будем исправлять.

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *