top/geo

Как нейросети и их краулеры читают сайты

Нейросети получают страницы сайтов тремя путями: через ботов, которые собирают тексты для обучения моделей; через поисковый индекс, к которому подключён ассистент; и через запрос страницы в момент, когда пользователь просит ассистента открыть ссылку или ответить по свежим данным. Во всех трёх случаях на сайт приходит программа, которая читает HTML и вытаскивает из него текст. Дизайн, анимацию и интерактив она почти не видит. Чтобы попадать в ответы, сайту нужно быть доступным таким программам и отдавать смысл в простом тексте.

Три вида ботов

Боты для обучения. Обходят интернет и собирают тексты, на которых потом обучают новые версии моделей. Визит такого бота не приводит к появлению сайта в ответах завтра: собранное попадёт в модель, если попадёт, с задержкой в месяцы. Чем это отличается от поиска, разобрано в статье о знаниях модели и поиске.

Поисковые боты ИИ-сервисов. Строят индекс, по которому ассистент ищет страницы для ответа. Если ассистент работает на индексе обычной поисковой системы, роль такого бота играет её привычный краулер — например, робот Яндекса для Нейро.

Боты по запросу пользователя. Приходят, когда человек в чате вставил ссылку или ассистент решил открыть конкретную страницу прямо сейчас. Работают точечно, по одной странице.

У крупных ИИ-сервисов боты часто разделены по задачам и подписываются разными именами — user-agent. Например, у ChatGPT есть GPTBot для сбора данных для обучения и отдельные агенты для поиска и для запросов пользователей; свои боты есть у Perplexity, Claude и других. Списки и названия меняются, поэтому актуальные имена смотрите в документации каждого сервиса.

БотЗачем приходитЧто даёт сайтуЕсли закрыть
для обучениясобрать тексты для будущей моделишанс, что модель «будет знать» о вассведения о вас не попадут в обучение с вашего сайта
поисковыйпостроить индекс для ответоввозможность стать источником в ответеассистент не найдёт сайт через свой индекс
по запросуоткрыть страницу для конкретного пользователяответ по вашей странице прямо сейчасассистент не сможет прочитать ссылку

Что бот видит на странице

Представьте, что страницу распечатали в виде простого текста без картинок и стилей, а потом дали прочитать человеку, который торопится. Примерно так её воспринимает краулер.

Видит хорошо:

  • текст в HTML-коде страницы;
  • заголовки и их иерархию;
  • списки и таблицы;
  • атрибуты alt у изображений и подписи к ним;
  • заголовок страницы и мета-описание;
  • микроразметку schema.org.

Видит плохо или не видит:

  • текст, который появляется только после выполнения JavaScript. Многие ИИ-боты скрипты не выполняют или выполняют ограниченно, в отличие от крупных поисковых роботов;
  • текст внутри картинок — баннеры, инфографику без подписи;
  • содержимое, спрятанное за кликом, вкладкой или прокруткой, если оно подгружается по запросу;
  • всё, что за формой входа или капчей.

Типичный провал: красивый сайт на JavaScript-фреймворке, где без скриптов в HTML лежит пустой контейнер. Обычный посетитель видит всё, бот — пустую страницу.

Как проверить, что видит бот

  1. Откройте исходный код страницы (в браузере — «Просмотр кода страницы», не инструменты разработчика). Найдите в нём ключевые фразы: цены, описание услуги, контакты. Если их нет в исходном коде, их нет и для бота без JavaScript.
  2. Отключите JavaScript в браузере и откройте страницу. Что осталось — то и прочитает простой бот.
  3. Проверьте robots.txt. Нет ли там общего запрета Disallow: / для всех или запрета для конкретных ИИ-ботов, поставленного когда-то «на всякий случай».
  4. Спросите хостинг или администратора о защите от ботов. Файрволы и антибот-сервисы иногда блокируют ИИ-краулеров по умолчанию, и robots.txt тут ни при чём.
  5. Посмотрите логи сервера. По user-agent видно, какие боты приходили и какой код ответа получили. Ответы 403 или 429 означают, что бот был, но страницу не получил.
  6. Дайте ссылку ассистенту. Попросите пересказать страницу. Если он не может её открыть или пересказывает не то, есть проблема с доступом или с содержимым.

Как бот понимает, что главное

Получив текст, система нарезает его на фрагменты и ищет те, что отвечают на вопрос — механика описана в статье про RAG. Помогает ей структура:

  • заголовок H1 говорит, о чём страница;
  • подзаголовки H2 и H3 делят текст на смысловые блоки;
  • первый абзац под подзаголовком в идеале сразу отвечает на вопрос из него;
  • таблицы удобны для сравнений, списки — для шагов и перечней.

Навигация, подвал, баннеры и всплывающие окна система обычно старается отбросить. Если ключевая информация есть только там — например, цены только во всплывающем окне, — она может потеряться.

Пускать или не пускать

Решение за владельцем сайта, и оно не обязано быть одинаковым для всех ботов. Логика такая:

  • Коммерческому сайту обычно выгодно пускать поисковых ботов и ботов по запросу: это путь в ответы ассистентов.
  • Бот для обучения — вопрос позиции. Закрыв его, вы не даёте использовать тексты для обучения, но и уменьшаете шанс, что модель «будет знать» о компании. Об авторских аспектах — в статье о нейросетях и авторских правах.
  • Закрытые разделы — личный кабинет, корзину, служебные страницы — закрывайте для всех ботов, как и раньше.

Помните, что robots.txt — договорённость, а не замок: добросовестные боты её соблюдают, недобросовестные — нет.

Агентства, которые проверяют такие вещи в рамках GEO-аудита, сравнили в подборке на главной.

Частые вопросы

Если сайт хорошо индексируется Яндексом, ИИ-боты его тоже прочитают?

Не обязательно. Поисковые роботы крупных систем умеют выполнять JavaScript, а многие ИИ-боты — нет. Кроме того, защита от ботов на хостинге может пропускать известных поисковых роботов и блокировать остальных.

Нужен ли отдельный файл для нейросетей?

Есть предложенный формат llms.txt — краткая карта сайта для языковых моделей. Насколько его учитывают разные сервисы, неясно и меняется. Базовые вещи важнее: доступность, текст в HTML, понятная структура.

Ускоряет ли sitemap попадание в ответы нейросетей?

Карта сайта помогает поисковым ботам быстрее находить новые страницы, а значит, ускоряет попадание в индекс. В ответы страница попадёт, только если её содержимое окажется полезным для вопроса.

Как часто ИИ-боты возвращаются на сайт?

Это зависит от сервиса и от сайта, единого правила нет. Точнее всего покажут логи сервера: по ним видно, кто и как часто приходит.