Как настроить robots.txt в WordPress

Как проверено: Сверено с документацией WordPress, Яндекса и Google. Рабочий robots.txt и настройки сайта не менялись; кабинетная проверка не выполнялась.

robots.txt управляет ТерминОбход (сканирование)Посещение страниц поисковым роботом: он скачивает страницу и читает ее. Обход еще не означает, что страница попадет в поиск. поисковых ТерминПоисковый роботПрограмма поисковика, которая сама обходит сайты и скачивает страницы. У Google – Googlebot, у Яндекса – YandexBot.: он не закрывает сайт от людей и не заменяет запрет ТерминИндексацияВключение страницы в базу поисковика – индекс. Только проиндексированная страница может появиться в результатах поиска. noindex. В WordPress сначала откройте действующий файл и выясните, кто его формирует, затем проверяйте одно правило для конкретных адресов.

Сначала проверьте

  1. Откройте https://example.com/robots.txt, заменив домен своим. Сохраните полученный текст и адрес после возможного перехода, прежде чем что‑либо менять.
  2. Выберите существующую публичную страницу и путь, который намеренно закрыт от обхода. Запишите, какой результат ожидаете для каждого из них и для какого робота.
  3. Определите цель: разрешить обход, убрать публичную страницу из поиска или закрыть доступ к секретным данным. Для этих задач нужны разные настройки.

Проверьте адрес и переходы

Имена через запятую, регистр имени важен. Сравним значения в исходном и конечном адресах.

Что проверяется

HTTP-ответы, переходы и выбранные параметры. Работа страницы в браузере, JavaScript и визит в Метрике не проверяются.

Якорь после # не отправляется серверу. Не вводите адреса с паролями, токенами и личными данными.

С одного адреса в сети – до 50 проверок за 10 минут. Отчет хранится 15 минут и виден только в этой вкладке: чтобы сохранить его, скачайте CSV.

Результат

Укажите адрес для проверки.

Куда ведет ссылка?

Покажем ответ сервера, цепочку переходов и совпадение с ожидаемым адресом.

Результат относится к полученным ответам. Доступность для посетителя проверьте в браузере.

Вставьте АббревиатураURLUniform Resource LocatorПолный адрес страницы или файла, например https://example.com/contacts/. Состоит из протокола, домена, пути и иногда параметров.https://example.com/catalog/протоколдоменпуть?utm_source=vk#priceпараметрыякорь публичной HTML‑страницы, а не самого файла. Инструмент показывает HTTP‑ответ, переходы, Терминmeta robotsМетатег в коде страницы с указаниями для роботов, например noindex. Посетитель его не видит. и ТерминX-Robots-TagHTTP‑заголовок с теми же указаниями, что и meta robots, например noindex. Задается на сервере и подходит и для файлов вроде PDF.. Правила robots.txt он не разбирает: их проверьте в анализаторе по шагам ниже.

Найдите источник действующего файла

Понадобится доступ к настройке WordPress или хостингу, которая формирует ответ. WordPress умеет выдавать виртуальный robots.txt (откроется в новой вкладке): если текст в браузере виден, а физического файла нет, это не ошибка.

Проверьте ТерминКорень сайтаГлавная папка сайта на сервере и начало адреса «/» сразу после домена. Файлы robots.txt и sitemap.xml обычно лежат там. этого сайта, настройки SEO‑плагина и способ выдачи файла на сервере: каждый из них может менять то, что увидит робот. Не редактируйте сразу несколько мест: сначала найдите источник текущего ответа.

В «Настройки → Чтение» посмотрите опцию «Попросить поисковые системы не индексировать сайт» (откроется в новой вкладке). У современных версий WordPress она влияет на noindex; строка Disallow: / в файле может не появиться. На тестовом сайте опцию не снимайте.

Если доступов нет, передайте администратору адрес файла, сохраненный текст, проверяемые URL и желаемый результат.

Проверьте пример на выбранных адресах

Ниже пример для обычной установки WordPress в корне домена:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Он близок к стандартному ответу WordPress и показывает формат. Не заменяйте им свой файл целиком. Секция со звездочкой задает правила для роботов, которым не подходит отдельная секция. Disallow ограничивает обход пути /wp-admin/, а более точный Allow оставляет исключение для /wp-admin/admin-ajax.php.

Проверьте три адреса по этим правилам: существующая публичная статья, /wp-admin/ и исключение admin-ajax.php. Для этого примера статья и исключение должны быть разрешены к обходу, административный путь – запрещен.

Полный файл имеет значение: отдельная секция для робота и другие правила могут изменить результат.

Измените одно правило и повторите анализ

Если найдено ошибочное Disallow: /, сначала подтвердите, что сайт должен быть открыт для поиска. Для публичного сайта сохраните исходный текст и настройку, через которую его меняют. Подготовьте вариант без ошибочного ограничения в нужной секции; остальные правила оставьте на месте.

Откройте «Инструменты → Анализ robots.txt» Яндекс Вебмастера (откроется в новой вкладке). Укажите свой сайт, проверьте загруженный текст. В анализаторе можно проверить и подготовленный полный вариант файла до публикации. Нажмите «Проверить», затем в блоке «Доступ к страницам» добавьте выбранные URL в «Список страниц» и повторите проверку.

Сопоставьте результат каждого адреса с ожидаемым. При ошибке или сообщении о неполной проверке не считайте URL разрешенным: проверьте принадлежность домену, ответ страницы и текст файла. Секции и исключения сравните вручную с результатом. Разрешенный обход не означает, что страница уже в поиске.

После успешной проверки опубликуйте одно согласованное изменение через действующий источник WordPress. Снова откройте /robots.txt без входа и сравните текст. Если осталась старая версия, проверьте ТерминКешСохраненная копия страницы или файла, которую браузер, сервер или CDN отдает вместо свежей. Ускоряет сайт, но может показывать старую версию.браузеркопия в кешесерверзапросесть – сразуесли нет и источник ответа, прежде чем менять другое место. Повторите анализ тех же адресов, включая соседнюю публичную страницу. При неожиданном ограничении верните прежний текст и найдите конфликт до следующей правки.

Для Google отдельно проверьте точный URL и доступность в Search Console. Если анализатор недоступен, сохраните файл и ожидаемые результаты для администратора.

Если робот не видит noindex

Публичная страница может быть закрыта через Disallow, а в ее АббревиатураHTMLHyperText Markup LanguageЯзык разметки страниц: текст, заголовки, ссылки и картинки записаны тегами. Браузер читает HTML и показывает страницу. стоять:

<meta name="robots" content="noindex">

Чтобы прочитать эту ТерминДирективаУказание для поискового робота: noindex, Disallow и другие. Пишется в robots.txt, метатеге robots или HTTP‑заголовке., роботу нужен доступ к ответу страницы: так устроено и у Яндекса (откроется в новой вкладке), и у Google (откроется в новой вкладке). В Терминrobots.txtФайл в корне сайта с правилами для поисковых роботов: какие разделы не обходить. От людей он страницы не закрывает. Google директиву ТерминnoindexЗапрет включать страницу в поиск: метатег robots или заголовок X-Robots-Tag. Работает, только если робот может открыть страницу. не поддерживает.

Если цель – убрать из поиска страницу, которая может оставаться общедоступной, проверьте noindex в ее HTML или ТерминHTTP‑заголовкиСлужебные строки, которые сервер отправляет вместе со страницей: тип содержимого, адрес перехода, правила кеша. Посетитель их не видит.. Затем устраните мешающее ограничение обхода только для нужного URL и повторите анализ. Для контроля ответа можно использовать инструмент выше; без него администратор проверит ТерминИсходный код страницыHTML, который сервер отправил браузеру. Открывается через «Просмотр кода страницы» и может отличаться от того, что потом изменили скрипты. и заголовки. Директивы и секции для разных роботов рассматривайте вместе.

После исправления проверьте состояние страницы в Яндексе или Google и дождитесь обновления данных: страница исчезает из поиска не сразу.

Если материал нельзя показывать посторонним, ограничьте доступ на сервере или удалите его. Не открывайте личные данные ради чтения noindex: поисковые директивы не обеспечивают конфиденциальность.

Если проблем с robots.txt и картой сайта несколько, можно поручить мне технический SEO‑аудит. Результат – таблица проблем с приоритетами и способом исправить. Исправления – отдельно по прайсу.

Могу сделать это за вас

По смете с фиксированной ценой. Перед сдачей проверю результат на вашем сайте.

Технический SEO-аудитот 500 ₽
Проверить сайт бесплатноПодробнее об услуге

По теме

Узнайте, что мешает вашему сайту

Бесплатно и без регистрации. Проверю до 20 страниц.