top/geo

RAG: как нейросеть находит источники и опирается на них

RAG (retrieval-augmented generation, генерация с опорой на найденное) — схема, в которой языковая модель перед ответом получает подборку подходящих фрагментов из документов и пишет ответ по ним, а не только по памяти. Сначала система ищет, потом модель читает найденное и пересказывает. Так устроены ответы ассистентов с поиском в интернете и чат-боты, которые отвечают по базе знаний компании. Для сайта из этого следует простая вещь: в ответ попадает не страница целиком, а её фрагмент, который нашёлся и оказался полезным.

Зачем вообще понадобился RAG

У языковой модели две врождённые проблемы. Её знания заморожены на дату обучения, и она не может сослаться на источник — подробнее об этом в статье о знаниях модели и поиске. Переобучать модель каждый раз, когда меняется прайс или выходит новость, долго и дорого.

RAG решает обе проблемы без переобучения. Модель остаётся прежней, а свежие и точные сведения ей подкладывают прямо в запрос. Аналогия — юрист, которому перед консультацией приносят папку с нужными документами по делу. Общие знания у него свои, а конкретику он берёт из папки и может на неё сослаться.

Как устроен RAG: подготовка и ответ

Схема делится на две части: то, что происходит заранее, и то, что происходит в момент вопроса.

Заранее: подготовка документов

  1. Сбор. Система получает документы: страницы сайтов из поискового индекса, файлы базы знаний, инструкции.
  2. Нарезка. Документы режутся на фрагменты — обычно по абзацам, разделам или куску фиксированной длины. Модели не нужна вся статья, ей нужен кусок с ответом, к тому же всё не поместится в её контекстное окно.
  3. Перевод в числа. Каждый фрагмент превращается в эмбеддинг — набор чисел, который описывает его смысл. Фрагменты о похожем получают похожие наборы чисел, даже если слова в них разные.
  4. Хранение. Эмбеддинги складываются в специальную базу, где можно быстро найти ближайшие по смыслу.

В момент вопроса

  1. Переформулировка. Вопрос пользователя переводится в один или несколько поисковых запросов. Иногда модель сама дописывает уточнения.
  2. Поиск. Система находит фрагменты, близкие к запросу. Часто сочетают два способа: поиск по смыслу через эмбеддинги и обычный поиск по словам — второй лучше ловит точные названия и номера.
  3. Переранжирование. Найденных кусков больше, чем нужно. Отдельная модель оценивает, какие из них действительно отвечают на вопрос, и оставляет лучшие.
  4. Сборка запроса. Отобранные фрагменты вместе с вопросом и инструкцией («отвечай по источникам, указывай ссылки») передаются языковой модели.
  5. Генерация. Модель пишет ответ и, если так настроено, помечает, из какого источника взята каждая мысль.

Поиск по смыслу на примере

Человек спрашивает: «Сколько сохнет стяжка пола?» На странице строительной компании написано: «Цементно-песчаный раствор набирает прочность около четырёх недель, ходить по нему можно раньше». Слов «сохнет» и «стяжка» во фрагменте нет, но по смыслу он отвечает на вопрос. Обычный поиск по словам его бы пропустил, поиск по эмбеддингам — найдёт.

Обратная сторона: по смыслу «похоже» может оказаться и не то. Фрагмент о стяжке в бане найдётся на вопрос о квартире. Поэтому нужны переранжирование и проверка самой моделью.

Где RAG ломается

ЭтапЧто идёт не такКак это выглядит в ответе
Нарезкафакт и его условие оказались в разных фрагментахцена без оговорки «при заказе от 10 штук»
Поискнужная страница не проиндексирована или сформулирована не такответ без вашего сайта, хотя ответ у вас есть
Переранжированиевыбран похожий, но не тот фрагментответ про соседнюю услугу
Генерациямодель соединила два источника в одну фразусмешанные сведения о двух компаниях
Генерацияисточники противоречат друг другумодель выбирает один вариант без объяснений

RAG заметно снижает число выдумок, но не убирает их совсем. Если подходящего фрагмента не нашлось, модель иногда достраивает ответ сама. Об этом — в статье про галлюцинации.

Два мира RAG

Публичный: ассистенты с поиском. Документы — страницы интернета, отбор делает поисковая система, с которой связан ассистент. Владелец сайта влияет на результат только через сам сайт: доступность, понятные фрагменты, согласованные факты.

Внутренний: базы знаний компаний. Тот же механизм работает в чат-боте поддержки, который отвечает по инструкциям и договорам. Здесь компания управляет всем: какие документы загружены, как нарезаны, что модели запрещено. Хорошо настроенный внутренний RAG отвечает только по своим документам и честно говорит «в базе этого нет».

Что это значит для владельца сайта

Устройство RAG прямо подсказывает, какой должна быть страница, чтобы её фрагменты находились и цитировались.

  • Один раздел — одна мысль. Тогда нарезка не разорвёт факт и его условие.
  • Условия рядом с фактом. «От 15 000 при площади до 50 м²» в одной фразе, а не цена в начале и оговорка в сноске.
  • Формулировки, близкие к вопросам людей. Поиск по смыслу прощает разные слова, но точные названия услуг, моделей и городов лучше писать так, как их пишут клиенты.
  • Без противоречий. Если на двух страницах сайта разные цены, модель может выбрать любую.
  • Индексация прежде всего. Фрагмент, которого нет в индексе, не найдёт никакая схема.

Подробнее о том, как ассистенты получают страницы, — в статье как нейросети читают сайты, а агентства, которые занимаются этим системно, собраны в подборке на главной.

Частые вопросы

RAG и дообучение модели — это одно и то же?

Нет. Дообучение меняет саму модель, это долго и требует данных и вычислений. RAG оставляет модель неизменной и подкладывает ей нужные документы в момент вопроса. Для фактов, которые часто меняются, RAG практичнее.

Что такое эмбеддинг, если совсем просто?

Это координаты смысла. Каждый фрагмент текста получает точку в многомерном пространстве, и фрагменты о похожем оказываются рядом. Поиск ищет точки, ближайшие к точке вопроса.

Почему ассистент цитирует не мою страницу, а форум, хотя у меня ответ подробнее?

Чаще всего потому, что на форуме нашёлся короткий фрагмент, точнее совпавший с вопросом. Подробный ответ, растянутый на несколько абзацев с отсылками друг к другу, проигрывает при нарезке.

Нужен ли RAG небольшой компании для своего чат-бота?

Если бот должен отвечать по вашим ценам, условиям и инструкциям — да, без опоры на документы он будет отвечать общими словами или выдумывать. Начать можно с небольшой базы из самых частых вопросов.