История robots.txt поможет проследить за изменениями в файле robots.txt своего сайта и сайтов конкурентов.
В этой инструкции расскажем, как работать с инструментом.
Кому доступен
Инструмент доступен для всех зарегистрированных пользователей сервиса. Если у вас ещё нет аккаунта — зарегистрируйтесь.
Где находится
Перейти в инструмент можно из меню. Выберите раздел «Сайты», затем кликните на ссылку «Анализ robots.txt».
Как проверить историю robots.txt
Введите домен для анализа истории robots.txt. Например, в таком формате: wildberries.ru
По умолчанию для вас будет включен обычный режим — текущая версия файла.
В обычном режиме можно узнать размер файла, количество строк и статус файла.
В статусе файла отображается код состояния ответа HTTP к документу. Код показывает, успешно ли был выполнен определённый запрос.
Возможные варианты:
- Информационные ответы (
100–199) - Успешные ответы (
200–299) - Сообщения о перенаправлении (
300–399) - Ошибки клиента (
400–499) - Ошибки сервера (
500–599)
Режимом сравнения можно воспользоваться при наличии исторических данных файла robots.txt. Вы можете сравнить последнюю и ранее полученные версии robots.txt. При сравнении файлов все удаления и добавления будут выделяться в коде.
Работа с инструментом: копирование и экспорт
Файл robots.txt можно быстро скопировать или выгрузить в формате TXT.
Как использовать данные
- Построить более точные гипотезы продвижения сайта на основе истории обновлений кода и изменении позиций в выдаче.
- Быстро и просто найти ошибки в файле robots.txt.