Как настроить robots.txt в WordPress
robots.txt управляет ТерминОбход (сканирование)Посещение страниц поисковым роботом: он скачивает страницу и читает ее. Обход еще не означает, что страница попадет в поиск. поисковых ТерминПоисковый роботПрограмма поисковика, которая сама обходит сайты и скачивает страницы. У Google – Googlebot, у Яндекса – YandexBot.: он не закрывает сайт от людей и не заменяет запрет ТерминИндексацияВключение страницы в базу поисковика – индекс. Только проиндексированная страница может появиться в результатах поиска. noindex. В WordPress сначала откройте действующий файл и выясните, кто его формирует, затем проверяйте одно правило для конкретных адресов.
Сначала проверьте
- Откройте https://example.com/robots.txt, заменив домен своим. Сохраните полученный текст и адрес после возможного перехода, прежде чем что‑либо менять.
- Выберите существующую публичную страницу и путь, который намеренно закрыт от обхода. Запишите, какой результат ожидаете для каждого из них и для какого робота.
- Определите цель: разрешить обход, убрать публичную страницу из поиска или закрыть доступ к секретным данным. Для этих задач нужны разные настройки.
Вставьте АббревиатураURLUniform Resource LocatorПолный адрес страницы или файла, например https://example.com/contacts/. Состоит из протокола, домена, пути и иногда параметров. публичной HTML‑страницы, а не самого файла. Инструмент показывает HTTP‑ответ, переходы, Терминmeta robotsМетатег в коде страницы с указаниями для роботов, например noindex. Посетитель его не видит. и ТерминX-Robots-TagHTTP‑заголовок с теми же указаниями, что и meta robots, например noindex. Задается на сервере и подходит и для файлов вроде PDF.. Правила robots.txt он не разбирает: их проверьте в анализаторе по шагам ниже.
Найдите источник действующего файла
Понадобится доступ к настройке WordPress или хостингу, которая формирует ответ. WordPress умеет выдавать виртуальный robots.txt (откроется в новой вкладке): если текст в браузере виден, а физического файла нет, это не ошибка.
Проверьте ТерминКорень сайтаГлавная папка сайта на сервере и начало адреса «/» сразу после домена. Файлы robots.txt и sitemap.xml обычно лежат там. этого сайта, настройки SEO‑плагина и способ выдачи файла на сервере: каждый из них может менять то, что увидит робот. Не редактируйте сразу несколько мест: сначала найдите источник текущего ответа.
В «Настройки → Чтение» посмотрите опцию «Попросить поисковые системы не индексировать сайт» (откроется в новой вкладке). У современных версий WordPress она влияет на noindex; строка Disallow: / в файле может не появиться. На тестовом сайте опцию не снимайте.
Если доступов нет, передайте администратору адрес файла, сохраненный текст, проверяемые URL и желаемый результат.
Проверьте пример на выбранных адресах
Ниже пример для обычной установки WordPress в корне домена:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.phpОн близок к стандартному ответу WordPress и показывает формат. Не заменяйте им свой файл целиком. Секция со звездочкой задает правила для роботов, которым не подходит отдельная секция. Disallow ограничивает обход пути /wp-admin/, а более точный Allow оставляет исключение для /wp-admin/admin-ajax.php.
Проверьте три адреса по этим правилам: существующая публичная статья, /wp-admin/ и исключение admin-ajax.php. Для этого примера статья и исключение должны быть разрешены к обходу, административный путь – запрещен.
Полный файл имеет значение: отдельная секция для робота и другие правила могут изменить результат.
Измените одно правило и повторите анализ
Если найдено ошибочное Disallow: /, сначала подтвердите, что сайт должен быть открыт для поиска. Для публичного сайта сохраните исходный текст и настройку, через которую его меняют. Подготовьте вариант без ошибочного ограничения в нужной секции; остальные правила оставьте на месте.
Откройте «Инструменты → Анализ robots.txt» Яндекс Вебмастера (откроется в новой вкладке). Укажите свой сайт, проверьте загруженный текст. В анализаторе можно проверить и подготовленный полный вариант файла до публикации. Нажмите «Проверить», затем в блоке «Доступ к страницам» добавьте выбранные URL в «Список страниц» и повторите проверку.
Сопоставьте результат каждого адреса с ожидаемым. При ошибке или сообщении о неполной проверке не считайте URL разрешенным: проверьте принадлежность домену, ответ страницы и текст файла. Секции и исключения сравните вручную с результатом. Разрешенный обход не означает, что страница уже в поиске.
После успешной проверки опубликуйте одно согласованное изменение через действующий источник WordPress. Снова откройте /robots.txt без входа и сравните текст. Если осталась старая версия, проверьте ТерминКешСохраненная копия страницы или файла, которую браузер, сервер или CDN отдает вместо свежей. Ускоряет сайт, но может показывать старую версию. и источник ответа, прежде чем менять другое место. Повторите анализ тех же адресов, включая соседнюю публичную страницу. При неожиданном ограничении верните прежний текст и найдите конфликт до следующей правки.
Для Google отдельно проверьте точный URL и доступность в Search Console. Если анализатор недоступен, сохраните файл и ожидаемые результаты для администратора.
Если робот не видит noindex
Публичная страница может быть закрыта через Disallow, а в ее АббревиатураHTMLHyperText Markup LanguageЯзык разметки страниц: текст, заголовки, ссылки и картинки записаны тегами. Браузер читает HTML и показывает страницу. стоять:
<meta name="robots" content="noindex">Чтобы прочитать эту ТерминДирективаУказание для поискового робота: noindex, Disallow и другие. Пишется в robots.txt, метатеге robots или HTTP‑заголовке., роботу нужен доступ к ответу страницы: так устроено и у Яндекса (откроется в новой вкладке), и у Google (откроется в новой вкладке). В Терминrobots.txtФайл в корне сайта с правилами для поисковых роботов: какие разделы не обходить. От людей он страницы не закрывает. Google директиву ТерминnoindexЗапрет включать страницу в поиск: метатег robots или заголовок X-Robots-Tag. Работает, только если робот может открыть страницу. не поддерживает.
Если цель – убрать из поиска страницу, которая может оставаться общедоступной, проверьте noindex в ее HTML или ТерминHTTP‑заголовкиСлужебные строки, которые сервер отправляет вместе со страницей: тип содержимого, адрес перехода, правила кеша. Посетитель их не видит.. Затем устраните мешающее ограничение обхода только для нужного URL и повторите анализ. Для контроля ответа можно использовать инструмент выше; без него администратор проверит ТерминИсходный код страницыHTML, который сервер отправил браузеру. Открывается через «Просмотр кода страницы» и может отличаться от того, что потом изменили скрипты. и заголовки. Директивы и секции для разных роботов рассматривайте вместе.
После исправления проверьте состояние страницы в Яндексе или Google и дождитесь обновления данных: страница исчезает из поиска не сразу.
Если материал нельзя показывать посторонним, ограничьте доступ на сервере или удалите его. Не открывайте личные данные ради чтения noindex: поисковые директивы не обеспечивают конфиденциальность.
Если проблем с robots.txt и картой сайта несколько, можно поручить мне технический SEO‑аудит. Результат – таблица проблем с приоритетами и способом исправить. Исправления – отдельно по прайсу.
Могу сделать это за вас
По смете с фиксированной ценой. Перед сдачей проверю результат на вашем сайте.





