llms.txt: что это за файл, как он работает и нужен ли вашему сайту

Что такое llms.txt

llms.txt — обычный текстовый файл в формате Markdown. Его размещают по адресу site.ru/llms.txt. Внутри находятся краткое описание сайта и отобранные ссылки с пояснениями.

Инициативу предложил Джереми Ховард в сентябре 2024 года. В официальном описании формата она до сих пор называется предложением по стандартизации. Это важная оговорка: общепринятого протокола, который обязаны поддерживать поисковые системы и разработчики ИИ, пока нет.

По смыслу llms.txt похож на содержание книги. Он не пересказывает весь сайт, а показывает, с каких страниц стоит начать и что на них находится.

Зачем появился этот формат

Сайт, удобный человеку, не всегда удобно разбирать автоматически. HTML содержит меню, баннеры, скрипты и повторяющиеся блоки. На большом сайте к этому добавляются сотни страниц разной важности.

llms.txt предлагает более короткий маршрут:

1. ИИ-сервис или агент открывает файл.
2. Читает описание проекта и список разделов.
3. Выбирает подходящие источники.
4. Загружает нужные страницы для ответа или выполнения задачи.

Авторы инициативы рассчитывают прежде всего на использование файла во время ответа пользователю, а не для обучения моделей. Но конкретный способ обработки не задан: каждый сервис решает сам, искать ли файл и что делать с его содержимым.

Как устроен llms.txt

Спецификация предполагает простую последовательность:

• H1 с названием сайта или проекта — единственный обязательный элемент;
• краткое описание в цитате;
• дополнительные пояснения;
• разделы H2 со списками ссылок;
• раздел Optional для второстепенных материалов, которые можно пропустить при ограниченном контексте.

Упрощённый пример:

# CompanionAI

> ИИ-инструменты, автоматизация и разработка цифровых продуктов для бизнеса.

## Инструменты

- [Генератор llms.txt](https://companionai.ru/instrumenty/llms-txt-generator/): создаёт файл по адресу сайта.

## Материалы

- [Блог CompanionAI](https://companionai.ru/blog/): статьи об ИИ, сайтах и автоматизации.

Пользу создаёт не сам Markdown, а отбор. Если перенести в файл тысячу URL без описаний, получится ещё одна карта сайта, только менее удобная.

Чего llms.txt не делает

Файл не:

• гарантирует появление сайта в ответах ChatGPT, Claude или других систем;
• добавляет страницы в поисковый индекс;
• повышает позиции сайта;
• разрешает или запрещает обход страниц;
• заменяет robots.txt и sitemap.xml;
• исправляет слабую структуру и устаревшее содержание.

Публичный llms.txt не подходит для закрытых инструкций, персональных данных или внутренних документов. Ссылка в нём не создаёт защиту — она просто ведёт на ресурс.

Каким сайтам файл может быть полезен

В первую очередь llms.txt имеет смысл для сайтов, где много содержательных и относительно стабильных материалов:

• документации и баз знаний;
• SaaS-сервисов и цифровых продуктов;
• корпоративных сайтов с несколькими направлениями;
• крупных блогов и отраслевых медиа;
• интернет-магазинов со справочными разделами, условиями и руководствами.

Файл особенно полезен, если владелец может осознанно выбрать главные страницы и поддерживать список в актуальном состоянии.

Небольшому сайту из пяти понятных страниц можно не спешить. Если страницы закрыты от обхода, услуги описаны общими словами, контакты устарели, а половина ссылок ведёт на 404, новый файл проблему не вылечит. Сначала чинят дом, потом вешают табличку на дверь.