RAG: как нейросеть находит источники и опирается на них
RAG (retrieval-augmented generation, генерация с опорой на найденное) — схема, в которой языковая модель перед ответом получает подборку подходящих фрагментов из документов и пишет ответ по ним, а не только по памяти. Сначала система ищет, потом модель читает найденное и пересказывает. Так устроены ответы ассистентов с поиском в интернете и чат-боты, которые отвечают по базе знаний компании. Для сайта из этого следует простая вещь: в ответ попадает не страница целиком, а её фрагмент, который нашёлся и оказался полезным.
Зачем вообще понадобился RAG
У языковой модели две врождённые проблемы. Её знания заморожены на дату обучения, и она не может сослаться на источник — подробнее об этом в статье о знаниях модели и поиске. Переобучать модель каждый раз, когда меняется прайс или выходит новость, долго и дорого.
RAG решает обе проблемы без переобучения. Модель остаётся прежней, а свежие и точные сведения ей подкладывают прямо в запрос. Аналогия — юрист, которому перед консультацией приносят папку с нужными документами по делу. Общие знания у него свои, а конкретику он берёт из папки и может на неё сослаться.
Как устроен RAG: подготовка и ответ
Схема делится на две части: то, что происходит заранее, и то, что происходит в момент вопроса.
Заранее: подготовка документов
- Сбор. Система получает документы: страницы сайтов из поискового индекса, файлы базы знаний, инструкции.
- Нарезка. Документы режутся на фрагменты — обычно по абзацам, разделам или куску фиксированной длины. Модели не нужна вся статья, ей нужен кусок с ответом, к тому же всё не поместится в её контекстное окно.
- Перевод в числа. Каждый фрагмент превращается в эмбеддинг — набор чисел, который описывает его смысл. Фрагменты о похожем получают похожие наборы чисел, даже если слова в них разные.
- Хранение. Эмбеддинги складываются в специальную базу, где можно быстро найти ближайшие по смыслу.
В момент вопроса
- Переформулировка. Вопрос пользователя переводится в один или несколько поисковых запросов. Иногда модель сама дописывает уточнения.
- Поиск. Система находит фрагменты, близкие к запросу. Часто сочетают два способа: поиск по смыслу через эмбеддинги и обычный поиск по словам — второй лучше ловит точные названия и номера.
- Переранжирование. Найденных кусков больше, чем нужно. Отдельная модель оценивает, какие из них действительно отвечают на вопрос, и оставляет лучшие.
- Сборка запроса. Отобранные фрагменты вместе с вопросом и инструкцией («отвечай по источникам, указывай ссылки») передаются языковой модели.
- Генерация. Модель пишет ответ и, если так настроено, помечает, из какого источника взята каждая мысль.
Поиск по смыслу на примере
Человек спрашивает: «Сколько сохнет стяжка пола?» На странице строительной компании написано: «Цементно-песчаный раствор набирает прочность около четырёх недель, ходить по нему можно раньше». Слов «сохнет» и «стяжка» во фрагменте нет, но по смыслу он отвечает на вопрос. Обычный поиск по словам его бы пропустил, поиск по эмбеддингам — найдёт.
Обратная сторона: по смыслу «похоже» может оказаться и не то. Фрагмент о стяжке в бане найдётся на вопрос о квартире. Поэтому нужны переранжирование и проверка самой моделью.
Где RAG ломается
| Этап | Что идёт не так | Как это выглядит в ответе |
|---|---|---|
| Нарезка | факт и его условие оказались в разных фрагментах | цена без оговорки «при заказе от 10 штук» |
| Поиск | нужная страница не проиндексирована или сформулирована не так | ответ без вашего сайта, хотя ответ у вас есть |
| Переранжирование | выбран похожий, но не тот фрагмент | ответ про соседнюю услугу |
| Генерация | модель соединила два источника в одну фразу | смешанные сведения о двух компаниях |
| Генерация | источники противоречат друг другу | модель выбирает один вариант без объяснений |
RAG заметно снижает число выдумок, но не убирает их совсем. Если подходящего фрагмента не нашлось, модель иногда достраивает ответ сама. Об этом — в статье про галлюцинации.
Два мира RAG
Публичный: ассистенты с поиском. Документы — страницы интернета, отбор делает поисковая система, с которой связан ассистент. Владелец сайта влияет на результат только через сам сайт: доступность, понятные фрагменты, согласованные факты.
Внутренний: базы знаний компаний. Тот же механизм работает в чат-боте поддержки, который отвечает по инструкциям и договорам. Здесь компания управляет всем: какие документы загружены, как нарезаны, что модели запрещено. Хорошо настроенный внутренний RAG отвечает только по своим документам и честно говорит «в базе этого нет».
Что это значит для владельца сайта
Устройство RAG прямо подсказывает, какой должна быть страница, чтобы её фрагменты находились и цитировались.
- Один раздел — одна мысль. Тогда нарезка не разорвёт факт и его условие.
- Условия рядом с фактом. «От 15 000 при площади до 50 м²» в одной фразе, а не цена в начале и оговорка в сноске.
- Формулировки, близкие к вопросам людей. Поиск по смыслу прощает разные слова, но точные названия услуг, моделей и городов лучше писать так, как их пишут клиенты.
- Без противоречий. Если на двух страницах сайта разные цены, модель может выбрать любую.
- Индексация прежде всего. Фрагмент, которого нет в индексе, не найдёт никакая схема.
Подробнее о том, как ассистенты получают страницы, — в статье как нейросети читают сайты, а агентства, которые занимаются этим системно, собраны в подборке на главной.
Частые вопросы
RAG и дообучение модели — это одно и то же?
Нет. Дообучение меняет саму модель, это долго и требует данных и вычислений. RAG оставляет модель неизменной и подкладывает ей нужные документы в момент вопроса. Для фактов, которые часто меняются, RAG практичнее.
Что такое эмбеддинг, если совсем просто?
Это координаты смысла. Каждый фрагмент текста получает точку в многомерном пространстве, и фрагменты о похожем оказываются рядом. Поиск ищет точки, ближайшие к точке вопроса.
Почему ассистент цитирует не мою страницу, а форум, хотя у меня ответ подробнее?
Чаще всего потому, что на форуме нашёлся короткий фрагмент, точнее совпавший с вопросом. Подробный ответ, растянутый на несколько абзацев с отсылками друг к другу, проигрывает при нарезке.
Нужен ли RAG небольшой компании для своего чат-бота?
Если бот должен отвечать по вашим ценам, условиям и инструкциям — да, без опоры на документы он будет отвечать общими словами или выдумывать. Начать можно с небольшой базы из самых частых вопросов.