Как нейросети и их краулеры читают сайты
Нейросети получают страницы сайтов тремя путями: через ботов, которые собирают тексты для обучения моделей; через поисковый индекс, к которому подключён ассистент; и через запрос страницы в момент, когда пользователь просит ассистента открыть ссылку или ответить по свежим данным. Во всех трёх случаях на сайт приходит программа, которая читает HTML и вытаскивает из него текст. Дизайн, анимацию и интерактив она почти не видит. Чтобы попадать в ответы, сайту нужно быть доступным таким программам и отдавать смысл в простом тексте.
Три вида ботов
Боты для обучения. Обходят интернет и собирают тексты, на которых потом обучают новые версии моделей. Визит такого бота не приводит к появлению сайта в ответах завтра: собранное попадёт в модель, если попадёт, с задержкой в месяцы. Чем это отличается от поиска, разобрано в статье о знаниях модели и поиске.
Поисковые боты ИИ-сервисов. Строят индекс, по которому ассистент ищет страницы для ответа. Если ассистент работает на индексе обычной поисковой системы, роль такого бота играет её привычный краулер — например, робот Яндекса для Нейро.
Боты по запросу пользователя. Приходят, когда человек в чате вставил ссылку или ассистент решил открыть конкретную страницу прямо сейчас. Работают точечно, по одной странице.
У крупных ИИ-сервисов боты часто разделены по задачам и подписываются разными именами — user-agent. Например, у ChatGPT есть GPTBot для сбора данных для обучения и отдельные агенты для поиска и для запросов пользователей; свои боты есть у Perplexity, Claude и других. Списки и названия меняются, поэтому актуальные имена смотрите в документации каждого сервиса.
| Бот | Зачем приходит | Что даёт сайту | Если закрыть |
|---|---|---|---|
| для обучения | собрать тексты для будущей модели | шанс, что модель «будет знать» о вас | сведения о вас не попадут в обучение с вашего сайта |
| поисковый | построить индекс для ответов | возможность стать источником в ответе | ассистент не найдёт сайт через свой индекс |
| по запросу | открыть страницу для конкретного пользователя | ответ по вашей странице прямо сейчас | ассистент не сможет прочитать ссылку |
Что бот видит на странице
Представьте, что страницу распечатали в виде простого текста без картинок и стилей, а потом дали прочитать человеку, который торопится. Примерно так её воспринимает краулер.
Видит хорошо:
- текст в HTML-коде страницы;
- заголовки и их иерархию;
- списки и таблицы;
- атрибуты alt у изображений и подписи к ним;
- заголовок страницы и мета-описание;
- микроразметку schema.org.
Видит плохо или не видит:
- текст, который появляется только после выполнения JavaScript. Многие ИИ-боты скрипты не выполняют или выполняют ограниченно, в отличие от крупных поисковых роботов;
- текст внутри картинок — баннеры, инфографику без подписи;
- содержимое, спрятанное за кликом, вкладкой или прокруткой, если оно подгружается по запросу;
- всё, что за формой входа или капчей.
Типичный провал: красивый сайт на JavaScript-фреймворке, где без скриптов в HTML лежит пустой контейнер. Обычный посетитель видит всё, бот — пустую страницу.
Как проверить, что видит бот
- Откройте исходный код страницы (в браузере — «Просмотр кода страницы», не инструменты разработчика). Найдите в нём ключевые фразы: цены, описание услуги, контакты. Если их нет в исходном коде, их нет и для бота без JavaScript.
- Отключите JavaScript в браузере и откройте страницу. Что осталось — то и прочитает простой бот.
- Проверьте robots.txt. Нет ли там общего запрета
Disallow: /для всех или запрета для конкретных ИИ-ботов, поставленного когда-то «на всякий случай». - Спросите хостинг или администратора о защите от ботов. Файрволы и антибот-сервисы иногда блокируют ИИ-краулеров по умолчанию, и robots.txt тут ни при чём.
- Посмотрите логи сервера. По user-agent видно, какие боты приходили и какой код ответа получили. Ответы 403 или 429 означают, что бот был, но страницу не получил.
- Дайте ссылку ассистенту. Попросите пересказать страницу. Если он не может её открыть или пересказывает не то, есть проблема с доступом или с содержимым.
Как бот понимает, что главное
Получив текст, система нарезает его на фрагменты и ищет те, что отвечают на вопрос — механика описана в статье про RAG. Помогает ей структура:
- заголовок
H1говорит, о чём страница; - подзаголовки
H2иH3делят текст на смысловые блоки; - первый абзац под подзаголовком в идеале сразу отвечает на вопрос из него;
- таблицы удобны для сравнений, списки — для шагов и перечней.
Навигация, подвал, баннеры и всплывающие окна система обычно старается отбросить. Если ключевая информация есть только там — например, цены только во всплывающем окне, — она может потеряться.
Пускать или не пускать
Решение за владельцем сайта, и оно не обязано быть одинаковым для всех ботов. Логика такая:
- Коммерческому сайту обычно выгодно пускать поисковых ботов и ботов по запросу: это путь в ответы ассистентов.
- Бот для обучения — вопрос позиции. Закрыв его, вы не даёте использовать тексты для обучения, но и уменьшаете шанс, что модель «будет знать» о компании. Об авторских аспектах — в статье о нейросетях и авторских правах.
- Закрытые разделы — личный кабинет, корзину, служебные страницы — закрывайте для всех ботов, как и раньше.
Помните, что robots.txt — договорённость, а не замок: добросовестные боты её соблюдают, недобросовестные — нет.
Агентства, которые проверяют такие вещи в рамках GEO-аудита, сравнили в подборке на главной.
Частые вопросы
Если сайт хорошо индексируется Яндексом, ИИ-боты его тоже прочитают?
Не обязательно. Поисковые роботы крупных систем умеют выполнять JavaScript, а многие ИИ-боты — нет. Кроме того, защита от ботов на хостинге может пропускать известных поисковых роботов и блокировать остальных.
Нужен ли отдельный файл для нейросетей?
Есть предложенный формат llms.txt — краткая карта сайта для языковых моделей. Насколько его учитывают разные сервисы, неясно и меняется. Базовые вещи важнее: доступность, текст в HTML, понятная структура.
Ускоряет ли sitemap попадание в ответы нейросетей?
Карта сайта помогает поисковым ботам быстрее находить новые страницы, а значит, ускоряет попадание в индекс. В ответы страница попадёт, только если её содержимое окажется полезным для вопроса.
Как часто ИИ-боты возвращаются на сайт?
Это зависит от сервиса и от сайта, единого правила нет. Точнее всего покажут логи сервера: по ним видно, кто и как часто приходит.