Проверка и генератор robots.txt

Проверьте robots.txt сайта или свой текст онлайн: ошибки в правилах, разрешен ли нужный адрес YandexBot и Googlebot, ИИ‑боты. Или соберите новый файл в генераторе по пресету CMS.

Проверить и создать robots.txt

Прочитаем файл /robots.txt этого сайта.

Путь или адрес страницы этого сайта: покажем, разрешен ли он YandexBot и Googlebot.

Запрос идет с нашего сервера в России, без браузера и JavaScript. Результат хранится 15 минут и виден только в этой вкладке: чтобы сохранить его, скачайте отчет. Содержимое страницы не сохраняем.

Проверить вставленный текст robots.txt

Путь страницы: покажем, разрешен ли он YandexBot и Googlebot по вставленным правилам.

Что делать с результатом

Сначала «Исправить»: закрытая главная, правила до User-agent, Noindex в файле, Sitemap без полного адреса. Затем проверьте свой важный адрес в поле теста: если он закрыт, найдите правило Disallow, под которое попадает путь. Собранный файл положите в корень сайта, чтобы он открывался по адресу mysite.ru/robots.txt.

Что учитывает инструмент

Читаем файл /robots.txt как поисковый робот, один запрос без перехода по переадресации. Правила разбираем по стандарту RFC 9309 и справке Яндекса: самый длинный шаблон побеждает, при равной длине – Allow. Вставленный текст проверяется в браузере и на сервер не уходит. Результат хранится 15 минут и виден только в этой вкладке.

Как сделать вручную

  1. Откройте mysite.ru/robots.txt в браузере: файл должен открыться как текст, а не как страница сайта или ошибка 404.
  2. Найдите группу User-agent: * и строки Disallow под ней: строка Disallow: / закрывает весь сайт.
  3. Проверьте строку Sitemap: в ней полный адрес карты с https://.
  4. В Яндекс Вебмастере откройте «Инструменты → Анализ robots.txt» и проверьте нужные адреса; в Google Search Console – «Настройки → robots.txt».

Robots.txt и индексация

Настрою robots.txt и sitemap, закрою служебные разделы и дубли, проверю индекс в Вебмастере и Search Console.

Вопросы и ответы

Что закрывать в robots.txt?

Служебное: админку, корзину и личный кабинет, поиск по сайту, адреса с параметрами печати и сортировки. Страницы, которые должны быть в поиске, и файлы стилей и скриптов закрывать нельзя: без них поисковик не увидит страницу так, как ее видит посетитель.

Закрыл страницу в robots.txt, а она в поиске – почему?

Disallow запрещает обход, но не индексацию: если на страницу ведут ссылки, Google может показать ее адрес без описания. Чтобы убрать страницу из поиска, откройте ее для обхода и поставьте мета‑тег robots с noindex.

Нужна ли директива Host?

Нет. Яндекс не читает Host с 2018 года: главное зеркало задают переадресацией 301 и в Вебмастере. Строку можно удалить – ошибкой она не считается.

Что такое Clean-param?

Директива Яндекса: она говорит, что параметры вроде utm_source не меняют страницу. Яндекс склеит адреса с метками с основным и не будет тратить на них обход. Google директиву не читает, для него нужен canonical.

Чем эта проверка отличается от аудита?

Инструмент смотрит одну страницу или один файл и сразу дает исправление. Бесплатная проверка сайта обходит основные страницы: скорость на телефоне, ошибки, мета‑теги, индексацию и безопасность – и собирает план работ.

Другие инструменты

 Все инструменты

Узнайте, что мешает вашему сайту

Бесплатно и без регистрации. Проверю до 20 страниц.