Top Man Digital: llms.txt

Поисковые ассистенты и AI-агенты читают сайт иначе, чем поисковый робот: им нужен короткий машинный конспект, а не весь HTML. Стандарт llms.txt — это markdown-файл в корне сайта с названием компании, кратким описанием, ключевыми фактами и списком разделов со ссылками. Модуль строит такой файл из данных вашего Bitrix-сайта и держит его актуальным.

Без него ассистент собирает представление о вашем магазине из случайных страниц, попавших в его индекс, — с устаревшими ценами и без понимания, что вы вообще продаёте.

• Каталог с ценами и наличием. Разделы выгружаются деревом, к каждому добавляется число товаров, диапазон цен и сколько позиций в наличии. Данные берутся из торгового каталога, включая цены на торговых предложениях.
• Работает и без модуля «Торговый каталог». Если цена и наличие лежат в обычных свойствах инфоблока, укажите эти свойства — модуль прочитает их и выведет так же. Наличие понимается тремя способами: число как остаток, «заполнено — значит есть», либо совпадение с заданным значением (в том числе вариантом списка).
• Шесть типов источников. Инфоблоки (разделы, элементы или и то и другое), статические страницы из файловой системы, пункты меню, sitemap.xml, блок «Организация» с реквизитами и график работы, инфоблок с вопросами и ответами.
• Готовая структура файла. Каталог, услуги, условия доставки и оплаты, частые вопросы, о компании, контакты и раздел Optional — секции настраиваются, порядок задаётся, свой шаблон строки поддерживается.
• Названия без SEO-мусора. Из заголовков вычищаются «купить», «недорого», «интернет-магазин» и подобные хвосты — ассистенту нужен предмет, а не продающая обвязка. Словарь дополняется своими фразами.
• Правила исключения. Служебные разделы, корзина, личный кабинет, страницы с параметрами и всё лишнее отсекается масками, регулярными выражениями или по GET-параметрам. Набор правил создаётся при установке и правится под сайт.
• Лимит в токенах, а не только в ссылках. Файл держится в заданном объёме: при переполнении отбрасываются наименее значимые ссылки, разделы каталога переживают обрезку дольше отдельных товаров.
• Проверка до публикации. 15 проверок соответствия спецификации: единственный заголовок первого уровня, наличие описания, абсолютные ссылки, отсутствие дублей и чужих доменов, размер файла. Документ, не прошедший проверки, не записывается — сломанный llms.txt хуже отсутствующего.
• Предпросмотр и сравнение. Файл строится в памяти и показывается построчно рядом с уже опубликованным: видно, что именно изменится, до записи на диск.
• Обновление без ручной работы. При изменении элементов и разделов подключённых инфоблоков файл помечается устаревшим, а агент пересобирает его при ближайшем запуске. Сохранение товара при этом не тормозит: пересборка не выполняется в момент правки.
• Журнал сборок. По каждому запуску: кто запустил (админка, агент, изменение контента, командная строка), результат, изменился ли файл, сколько ссылок, токенов и байт, длительность и все сообщения. По записи открывается карточка со всеми счётчиками конвейера и замечаниями проверки.
• Блок для robots.txt с разрешениями для GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, PerplexityBot, Google-Extended, Applebot-Extended, YandexAdditional — копируется одной кнопкой. Модуль не правит robots.txt сам.
• Тег <link rel="alternate" type="text/markdown"> на страницах сайта — включается галочкой, ставится без правки шаблона.
• Кодировка решена до вопроса. Файл всегда пишется в UTF-8, даже если сайт работает в cp1251. Если сервер отдаёт .txt без указания кодировки, помогает метка BOM (включена по умолчанию), а в предпросмотре лежат готовые блоки для nginx и Apache.
• Мультисайтовость. Свой профиль настроек, свой файл и свой журнал на каждый сайт.
• Русский и английский интерфейс, разграничение прав доступа штатными группами Bitrix, отдельный раздел меню в админке.

Интернет-магазинам, оптовым поставщикам, сервисным компаниям, клиникам, застройщикам — всем, кому важно, чтобы ассистент отвечал о ценах, ассортименте и условиях работы корректно и со ссылкой на сайт, а не пересказывал устаревший фрагмент из своего индекса.

• Модуль формирует и публикует файл. Как быстро его прочитает конкретный ассистент и как использует — решает сам ассистент; гарантировать индексацию не может ни один инструмент.
• Проверено на каталоге в 10 000 товаров: полная сборка с ценами и наличием укладывается в ~1,5 секунды, 17 SQL-запросов и 64 МБ памяти, то есть работает на типовом хостинге без правки конфигурации.
• Файл рассчитан на компактность: 10 000 ссылок — это 1,5 МБ и порядка 760 тысяч токенов, больше окна почти любой модели. Для больших каталогов правильная стратегия — разделы плюс ограниченный список товаров, и лимит в токенах помогает её удержать.