Проверка и генератор robots.txt
Проверьте robots.txt сайта или свой текст онлайн: ошибки в правилах, разрешен ли нужный адрес YandexBot и Googlebot, ИИ‑боты. Или соберите новый файл в генераторе по пресету CMS.
Что делать с результатом
Сначала «Исправить»: закрытая главная, правила до User-agent, Noindex в файле, Sitemap без полного адреса. Затем проверьте свой важный адрес в поле теста: если он закрыт, найдите правило Disallow, под которое попадает путь. Собранный файл положите в корень сайта, чтобы он открывался по адресу mysite.ru/robots.txt.
Что учитывает инструмент
Читаем файл /robots.txt как поисковый робот, один запрос без перехода по переадресации. Правила разбираем по стандарту RFC 9309 и справке Яндекса: самый длинный шаблон побеждает, при равной длине – Allow. Вставленный текст проверяется в браузере и на сервер не уходит. Результат хранится 15 минут и виден только в этой вкладке.
Как сделать вручную
- Откройте mysite.ru/robots.txt в браузере: файл должен открыться как текст, а не как страница сайта или ошибка 404.
- Найдите группу User-agent: * и строки Disallow под ней: строка Disallow: / закрывает весь сайт.
- Проверьте строку Sitemap: в ней полный адрес карты с https://.
- В Яндекс Вебмастере откройте «Инструменты → Анализ robots.txt» и проверьте нужные адреса; в Google Search Console – «Настройки → robots.txt».
Robots.txt и индексация
Вопросы и ответы
Что закрывать в robots.txt?
Служебное: админку, корзину и личный кабинет, поиск по сайту, адреса с параметрами печати и сортировки. Страницы, которые должны быть в поиске, и файлы стилей и скриптов закрывать нельзя: без них поисковик не увидит страницу так, как ее видит посетитель.
Закрыл страницу в robots.txt, а она в поиске – почему?
Disallow запрещает обход, но не индексацию: если на страницу ведут ссылки, Google может показать ее адрес без описания. Чтобы убрать страницу из поиска, откройте ее для обхода и поставьте мета‑тег robots с noindex.
Нужна ли директива Host?
Нет. Яндекс не читает Host с 2018 года: главное зеркало задают переадресацией 301 и в Вебмастере. Строку можно удалить – ошибкой она не считается.
Что такое Clean-param?
Директива Яндекса: она говорит, что параметры вроде utm_source не меняют страницу. Яндекс склеит адреса с метками с основным и не будет тратить на них обход. Google директиву не читает, для него нужен canonical.
Чем эта проверка отличается от аудита?
Инструмент смотрит одну страницу или один файл и сразу дает исправление. Бесплатная проверка сайта обходит основные страницы: скорость на телефоне, ошибки, мета‑теги, индексацию и безопасность – и собирает план работ.