Генератор llms.txt и проверка для ИИ‑поиска

Проверим, пускает ли robots.txt ИИ‑ботов, есть ли /llms.txt и как устроена страница: H1, подзаголовки, вопросы и ответы, микроразметка. Во второй вкладке – генератор llms.txt по формату llmstxt.org.

Проверить сайт для ИИ‑поиска и создать llms.txt

Проверим страницу, /robots.txt и /llms.txt этого сайта.

Запрос идет с нашего сервера в России, без браузера и JavaScript. Результат хранится 15 минут и виден только в этой вкладке: чтобы сохранить его, скачайте отчет. Содержимое страницы не сохраняем.

Что делать с результатом

Боты ИИ‑поиска – ChatGPT-User, OAI-SearchBot, PerplexityBot – читают сайт, чтобы ответить пользователю со ссылкой на источник: если они закрыты, в ответы сайт не попадет. Боты сбора данных для обучения – GPTBot, CCBot – можно закрыть отдельно, это ваш выбор. llms.txt помогает ИИ‑агентам быстро найти главное на сайте, но на позиции в выдаче не влияет.

Что учитывает инструмент

Читаем одну страницу, robots.txt и /llms.txt без перехода по переадресации. Как часто сайт цитируют ИИ‑ответы, мы не измеряем: публичных данных об этом нет. llms.txt – неофициальный формат, Google Search его не читает. Результат хранится 15 минут и виден только в этой вкладке.

Как сделать вручную

  1. Откройте mysite.ru/robots.txt и найдите группы User-agent с именами GPTBot, ChatGPT-User, ClaudeBot, PerplexityBot: Disallow: / в такой группе закрывает сайт этому боту.
  2. Откройте mysite.ru/llms.txt: файл должен начинаться со строки «# Название» и содержать список ссылок «- [Название](адрес)».
  3. Проверьте страницу: один H1, разделы под H2, ответы на частые вопросы текстом, микроразметка организации или статьи.

Сайт, понятный поиску и ИИ

В рамках SEO‑аудита проверю доступ ботов, структуру страниц, FAQ и микроразметку и соберу план правок.

Вопросы и ответы

Нужен ли llms.txt для Яндекса?

Нет. Яндекс и Google не заявляли, что читают llms.txt, и на позиции в выдаче файл не влияет. Это путеводитель для ИИ‑агентов и ассистентов, которые ищут на сайте ответ. Сделать его недолго, вреда нет, но и чуда ждать не стоит.

Как закрыть сайт от GPTBot?

Добавьте в robots.txt группу «User-agent: GPTBot» и строку «Disallow: /». Так OpenAI не будет собирать страницы для обучения моделей. Боты ChatGPT-User и OAI-SearchBot, которые отвечают пользователям в ChatGPT, – отдельные: их закрывать не обязательно.

Как создать llms.txt?

Во вкладке «Создать llms.txt» впишите название и пару предложений о сайте, затем главные страницы по строке: «Название | адрес | пояснение». Генератор соберет файл по формату llmstxt.org – заголовок, описание и списки ссылок. Положите его в корень сайта, чтобы он открывался по адресу mysite.ru/llms.txt.

Попадет ли сайт в ответы нейросетей?

Гарантий нет. Шансы выше у страниц, открытых для ботов ИИ‑поиска, с понятной структурой: один H1, разделы под H2, короткие ответы на вопросы, микроразметка и факты – цены, сроки, контакты.

Что такое YandexAdditional?

Имя робота Яндекса для robots.txt: по справке Яндекса для вебмастеров, правила для YandexAdditional ограничивают показ содержимого страниц в быстрых ответах YandexGPT и в поиске с Алисой. Сайт он не обходит, обычная выдача от запрета не меняется.

Чем эта проверка отличается от аудита?

Инструмент смотрит одну страницу или один файл и сразу дает исправление. Бесплатная проверка сайта обходит основные страницы: скорость на телефоне, ошибки, мета‑теги, индексацию и безопасность – и собирает план работ.

Другие инструменты

 Все инструменты

Узнайте, что мешает вашему сайту

Бесплатно и без регистрации. Проверю до 20 страниц.