Генератор llms.txt и проверка для ИИ‑поиска
Проверим, пускает ли robots.txt ИИ‑ботов, есть ли /llms.txt и как устроена страница: H1, подзаголовки, вопросы и ответы, микроразметка. Во второй вкладке – генератор llms.txt по формату llmstxt.org.
Что делать с результатом
Боты ИИ‑поиска – ChatGPT-User, OAI-SearchBot, PerplexityBot – читают сайт, чтобы ответить пользователю со ссылкой на источник: если они закрыты, в ответы сайт не попадет. Боты сбора данных для обучения – GPTBot, CCBot – можно закрыть отдельно, это ваш выбор. llms.txt помогает ИИ‑агентам быстро найти главное на сайте, но на позиции в выдаче не влияет.
Что учитывает инструмент
Читаем одну страницу, robots.txt и /llms.txt без перехода по переадресации. Как часто сайт цитируют ИИ‑ответы, мы не измеряем: публичных данных об этом нет. llms.txt – неофициальный формат, Google Search его не читает. Результат хранится 15 минут и виден только в этой вкладке.
Как сделать вручную
- Откройте mysite.ru/robots.txt и найдите группы User-agent с именами GPTBot, ChatGPT-User, ClaudeBot, PerplexityBot: Disallow: / в такой группе закрывает сайт этому боту.
- Откройте mysite.ru/llms.txt: файл должен начинаться со строки «# Название» и содержать список ссылок «- [Название](адрес)».
- Проверьте страницу: один H1, разделы под H2, ответы на частые вопросы текстом, микроразметка организации или статьи.
Сайт, понятный поиску и ИИ
Вопросы и ответы
Нужен ли llms.txt для Яндекса?
Нет. Яндекс и Google не заявляли, что читают llms.txt, и на позиции в выдаче файл не влияет. Это путеводитель для ИИ‑агентов и ассистентов, которые ищут на сайте ответ. Сделать его недолго, вреда нет, но и чуда ждать не стоит.
Как закрыть сайт от GPTBot?
Добавьте в robots.txt группу «User-agent: GPTBot» и строку «Disallow: /». Так OpenAI не будет собирать страницы для обучения моделей. Боты ChatGPT-User и OAI-SearchBot, которые отвечают пользователям в ChatGPT, – отдельные: их закрывать не обязательно.
Как создать llms.txt?
Во вкладке «Создать llms.txt» впишите название и пару предложений о сайте, затем главные страницы по строке: «Название | адрес | пояснение». Генератор соберет файл по формату llmstxt.org – заголовок, описание и списки ссылок. Положите его в корень сайта, чтобы он открывался по адресу mysite.ru/llms.txt.
Попадет ли сайт в ответы нейросетей?
Гарантий нет. Шансы выше у страниц, открытых для ботов ИИ‑поиска, с понятной структурой: один H1, разделы под H2, короткие ответы на вопросы, микроразметка и факты – цены, сроки, контакты.
Что такое YandexAdditional?
Имя робота Яндекса для robots.txt: по справке Яндекса для вебмастеров, правила для YandexAdditional ограничивают показ содержимого страниц в быстрых ответах YandexGPT и в поиске с Алисой. Сайт он не обходит, обычная выдача от запрета не меняется.
Чем эта проверка отличается от аудита?
Инструмент смотрит одну страницу или один файл и сразу дает исправление. Бесплатная проверка сайта обходит основные страницы: скорость на телефоне, ошибки, мета‑теги, индексацию и безопасность – и собирает план работ.