Как проверить robots.txt в Тильде
Тильда создает Терминrobots.txtФайл в корне сайта с правилами для поисковых роботов: какие разделы не обходить. От людей он страницы не закрывает. сама, а произвольно редактировать его на хостинге платформы нельзя. Если нужная страница закрыта от ТерминОбход (сканирование)Посещение страниц поисковым роботом: он скачивает страницу и читает ее. Обход еще не означает, что страница попадет в поиск., найдите правило для ее точного АббревиатураURLUniform Resource LocatorПолный адрес страницы или файла, например https://example.com/contacts/. Состоит из протокола, домена, пути и иногда параметров. и проверьте настройки сайта и страницы. Отдельно проверьте noindex: он запрещает ТерминИндексацияВключение страницы в базу поисковика – индекс. Только проиндексированная страница может появиться в результатах поиска. и при разрешенном обходе.
Сначала проверьте
- Откройте опубликованную страницу без входа в Тильду. Запишите полный рабочий URL; служебная ссылка из редактора для этой проверки не подходит.
- Откройте /robots.txt на том же домене. Сохраните файл или его текст перед изменением настроек; если файл не загрузился, не считайте это разрешением обхода.
- Проверьте страницу инструментом ниже на meta robots и X-Robots-Tag. Запишите найденные значения, а правила самого robots.txt проверьте отдельно в анализаторе по инструкции.
Инструмент получает ответ публичной страницы и показывает ТерминHTTP‑заголовкиСлужебные строки, которые сервер отправляет вместе со страницей: тип содержимого, адрес перехода, правила кеша. Посетитель их не видит. ТерминX-Robots-TagHTTP‑заголовок с теми же указаниями, что и meta robots, например noindex. Задается на сервере и подходит и для файлов вроде PDF. и Терминmeta robotsМетатег в коде страницы с указаниями для роботов, например noindex. Посетитель его не видит. в ТерминИсходный код страницыHTML, который сервер отправил браузеру. Открывается через «Просмотр кода страницы» и может отличаться от того, что потом изменили скрипты.. Правила robots.txt и статус индексации он не проверяет. Закрытые ссылки и ТерминПараметры в адресеЧасть адреса после «?»: пары имя=значение через «&», например ?utm_source=vk. Сайт и аналитика их читают, а страница остается той же. доступа в него не вставляйте.
Откройте файл нужного домена
Для страницы https://example.com/offer/ нужен https://example.com/robots.txt. Подставьте свой опубликованный домен: файл другого домена или служебного адреса Тильды не подходит.
Тильда создает robots.txt и sitemap.xml автоматически (откроется в новой вкладке). Если вместо файла ошибка или страница входа, проверьте домен, публикацию и доступность сайта.
Пример:
User-agent: *
Disallow: /Эта группа запрещает обход всех путей ТерминПоисковый роботПрограмма поисковика, которая сама обходит сайты и скачивает страницы. У Google – Googlebot, у Яндекса – YandexBot., к которым она применяется. Другой пример:
User-agent: *
Disallow: /draft/Здесь правило закрывает /draft/, но не /offer/. В полном файле могут быть другие группы и более точные правила.
Проверьте полный URL в анализаторе
В Яндекс Вебмастере откройте «Инструменты → Анализ robots.txt». Выберите рабочий домен или загрузите его файл, см. инструкцию Яндекса (откроется в новой вкладке). В блоке «Доступ к страницам» укажите полный адрес в поле «Список страниц», например https://example.com/offer/, и нажмите «Проверить».
Запишите результат для этого URL, затем сопоставьте его с группами и правилами полного файла. При запрете сначала выясните, должен ли раздел быть публичным. Для Google проверьте URL в Google Search Console (откроется в новой вкладке): нужны подтвержденные права.
Если анализатор не загрузил файл или показывает старые данные, сверьте домен и текст использованной версии. Для собственного файла вне Тильды см. инструкцию по robots.txt.
Найдите настройку запрета в Тильде
Для изменений нужен доступ к настройкам проекта. Сохраните прежнее состояние переключателей, чтобы вернуть его при ошибке. Не снимайте намеренное ограничение закрытого или служебного раздела.
По руководству Тильды (откроется в новой вкладке):
- Для всего сайта откройте «Настройки сайта → SEO» и проверьте «Запретить поисковикам индексировать сайт».
- Для отдельной страницы откройте «Настройки страницы → SEO → Отображение в поисковой выдаче → Настроить отображение в поисковой выдаче» и проверьте «Запретить поисковикам индексировать страницу».
- Снимите только случайно включенный запрет для нужного публичного материала и сохраните изменения. После правки страницы опубликуйте ее заново по порядку публикации Тильды (откроется в новой вкладке). Не публикуйте заодно незавершенные черновики.
В старом ответе Тильды о robots.txt (откроется в новой вкладке) используются название Facebook & SEO и объяснение через Disallow, а текущее руководство описывает запрет индексации. Поэтому после переключения проверяйте и итоговый robots.txt, и ТерминДирективаУказание для поискового робота: noindex, Disallow и другие. Пишется в robots.txt, метатеге robots или HTTP‑заголовке. самой страницы.
Проверьте опубликованный результат
Снова откройте robots.txt рабочего домена и повторите анализ того же полного URL. Если публичную страницу хотели открыть для обхода, нужен ответ анализатора о разрешении для нее: исчезновения одной строки Disallow мало, если действует другое правило.
Повторите проверку страницы инструментом. Без инструмента откройте исходный код опубликованной страницы и найдите ТерминМетатегСлужебный тег в коде страницы, посетителю не виден. Сообщает браузеру и поисковикам описание страницы, запрет индексации и другие сведения. robots, затем проверьте X-Robots-Tag в ТерминВкладка NetworkВкладка инструментов разработчика со списком всех запросов страницы: адреса, коды ответа, размер и время загрузки. → запрос документа → Headers.
Если результат не изменился, сверьте настройки всего сайта и самой страницы, факт ее публикации и версию файла в анализаторе. Если причина неясна, передайте поддержке Тильды публичный URL, время, результат анализатора, полный robots.txt и найденные директивы без доступов к кабинету.
Если после изменения открыт не тот раздел или появилась другая ошибка, верните сохраненное состояние настройки, примените его и повторите проверку.
Проверьте индекс и защиту данных
Участие страницы в поиске смотрите с правами владельца в «Индексирование → Проверка страницы» Яндекс Вебмастера или проверке URL Google: анализ robots.txt его не показывает. Дальнейшие шаги см. в проверке индексации Яндекса.
Robots.txt управляет обходом, но не скрывает конфиденциальные сведения: адрес может быть известен по ссылкам, а другие программы могут не соблюдать файл. Для закрытого материала нужны авторизация и права доступа. Если цель – убрать публичную страницу из Google Search, noindex должен быть доступен роботу (откроется в новой вкладке); одновременный запрет обхода мешает ему прочитать эту директиву.
Состав карты сайта проверяют отдельно от robots.txt. Если адресов много и ограничения противоречат назначению страниц, можно поручить мне технический SEO‑аудит. Результат – таблица проблем с приоритетами и способом исправить. Исправления – отдельно по прайсу.
Могу сделать это за вас
По смете с фиксированной ценой. Перед сдачей проверю результат на вашем сайте.





