Что проверяет
Построчный разбор директив User-agent, Disallow, Allow, Sitemap, Crawl-delay, Host, Clean-param. Инструмент находит: директивы вне блока User-agent, неабсолютные адреса в Sitemap, повторяющиеся блоки User-agent: *, неизвестные директивы и файлы крупнее 500 КБ (после этого предела поисковики по стандарту игнорируют «хвост» файла). Пустой Disallow: — не ошибка, а разрешение всего для блока, помечается отдельно.
Зачем это нужно
robots.txt легко испортить одной опечаткой — лишний слэш в Disallow или директива, вставленная не в тот блок, может незаметно закрыть от индексации часть сайта или, наоборот, не закрыть то, что нужно скрыть. Инструмент подсвечивает такие места до того, как это заметит поисковик.
Ограничения
Это не полноценный симулятор обхода робота — инструмент не проверяет, как конкретно Яндекс или Google интерпретируют пересекающиеся правила Allow/Disallow, и не сверяет реальную индексацию страниц. Только синтаксис и структура самого файла. В отличие от большинства инструментов сайта, где всё считается прямо в браузере, здесь введённый домен уходит на наш сервер — иначе браузер не может скачать чужой robots.txt напрямую (ограничение CORS). Сам разбор директив и подсчёт ошибок происходит уже на вашей стороне.
Проверка robots.txt онлайн — бесплатно
Пригодится перед запуском сайта, после переезда на новую CMS или при передаче проекта другому подрядчику — быстро понять, не осталось ли в robots.txt ошибок и мусора от прошлых правок.