top/geo

Галлюцинации нейросетей: почему ИИ выдумывает и как с этим жить

Галлюцинация нейросети — уверенный ответ, в котором есть выдуманные или искажённые сведения: несуществующая книга, неверная цена, телефон чужой компании, ссылка на страницу, которой нет. Причина не в сбое, а в устройстве: языковая модель пишет самое правдоподобное продолжение текста и не проверяет его по миру. Полностью избавиться от галлюцинаций пока нельзя, но их можно заметно сократить — правильными вопросами со стороны пользователя и ясными, согласованными фактами со стороны бизнеса.

Почему модель выдумывает

Языковая модель устроена как очень начитанный рассказчик, которого попросили никогда не молчать. На любой вопрос он выдаст связный ответ. Если знает — хорошо. Если не знает — сочинит то, что звучит похоже на правду. Как модель пишет текст по шагам, рассказано в статье что такое большая языковая модель.

Конкретные причины:

  1. Пробел в знаниях. О редкой теме или небольшой компании в обучающих данных мало сведений. Модель заполняет пробел правдоподобным.
  2. Похожие объекты. Две компании с похожими названиями, два города с одинаковой улицей, две версии закона. Модель смешивает их, потому что в её «памяти» они лежат рядом.
  3. Устаревшие данные. Модель честно воспроизводит то, что было верно на момент обучения. Для вас это ошибка, для неё — знание. Подробнее — в статье о знаниях модели и поиске.
  4. Давление вопроса. Вопрос «назовите три исследования, которые доказывают…» подталкивает модель назвать три исследования — даже если их нет.
  5. Ошибка пересказа. Даже с найденными источниками модель может соединить фразы из двух страниц в одну неверную или перепутать, к чему относится цифра.

Почему модель не говорит «не знаю»

Казалось бы, проще всего научить модель признавать незнание. На деле это трудно по двум причинам.

Первая — модель плохо отличает, что она знает твёрдо, а что смутно. Внутри у неё нет списка проверенных фактов, есть только вероятности следующих слов. Правдоподобная фраза о несуществующей книге может получить такую же высокую оценку, как фраза о реальной.

Вторая — так её учили. При обучении и оценке ответ, который хоть что-то утверждает, часто выглядит полезнее честного «не знаю». Разработчики стараются это исправить, и современные ассистенты отказываются отвечать чаще, чем ранние версии. Но привычка «лучше угадать, чем промолчать» ещё заметна.

Поэтому просьба «скажи, если не уверен» помогает, но не до конца: модель не всегда знает, что не уверена.

Какие бывают галлюцинации

ТипПримерНасколько легко заметить
Выдуманный объекткнига, статья закона, исследование, которых неттрудно: звучит убедительно
Искажённая детальреальная компания, но чужой адрес или старая ценатрудно: остальное верно
Смешениеуслуги одной фирмы приписаны другойсредне, если знаете тему
Ложная ссылкаадрес страницы выглядит правдоподобно, но не открываетсялегко: достаточно перейти
Неверный расчётитоговая сумма не сходится с компонентамилегко, если пересчитать
Ложное согласиемодель подтверждает ошибочную посылку вопросатрудно: вы сами её подсказали

Самые опасные — первые две. Ответ в целом верен, ошибка одна, и она тонет в правдоподобном тексте.

Помогает ли поиск

Помогает, но не до конца. Когда ассистент опирается на найденные страницы, выдумок становится меньше: модели есть на что сослаться. Схема разобрана в статье про RAG. Но остаются три лазейки:

  • нужный фрагмент не нашёлся, и модель достроила ответ сама;
  • источник сам содержит ошибку, и модель её повторила;
  • модель неточно пересказала верный источник.

Поэтому наличие ссылок под ответом — повод проверить, а не повод не проверять.

Как проверять ответы: чек-лист пользователя

  • Есть ли у ответа источники? Откройте хотя бы один и найдите там утверждение.
  • Цифры, даты, цены, номера законов сверены с первоисточником.
  • Ссылки открываются и ведут туда, куда обещано.
  • Если вопрос содержал допущение, модель его не просто подтвердила, а проверила.
  • Повторный вопрос другими словами даёт тот же ответ. Если ответы расходятся, модель скорее всего не знает.
  • Для денег, здоровья, права и обязательств перед клиентами решение принимает человек по первоисточнику.

Полезные формулировки в запросе: «если не уверен, так и скажи», «опирайся только на источники и указывай их», «отдели факты от предположений». Они не гарантируют точность, но снижают склонность модели сочинять. Больше о составлении запросов — в статье что такое промт.

Когда нейросеть выдумывает о вашей компании

Для бизнеса галлюцинации — не абстракция. Ассистент может назвать клиенту неверные часы работы, приписать вам услугу конкурента или наоборот, перепутать город. Клиент не узнает, что это ошибка нейросети: он решит, что так у вас и есть.

Что делать:

  1. Проверить. Задайте нескольким ассистентам вопросы, которые задают ваши клиенты: кто вы, где находитесь, сколько стоит, чем отличаетесь. Запишите, что они отвечают.
  2. Найти источник ошибки. Часто он реален: старая страница на сайте, неактуальная карточка в справочнике, чужой сайт с похожим названием.
  3. Исправить источники, а не спорить с моделью. Переубедить ассистента в чате бесполезно — следующему пользователю он ответит так же. Менять нужно то, что он читает.
  4. Сделать факты однозначными. Название, адрес, телефон, цены, сроки — одинаково на сайте, в справочниках и на площадках, где о вас пишут. Чем меньше противоречий, тем меньше поводов для смешения.
  5. Отличиться от «двойников». Если есть компания с похожим названием, явно укажите город, сферу и отличия — модели станет проще не путать.
  6. Проверять регулярно. Модели обновляются, поисковые индексы меняются, ответ может измениться без всякой причины с вашей стороны.

Эту работу системно делают в рамках GEO — кто её предлагает, сравнили в подборке на главной.

Частые вопросы

Почему это называют галлюцинациями?

Термин прижился как метафора: модель «видит» то, чего нет, и говорит об этом как о реальном. Некоторые исследователи считают слово неудачным и предлагают говорить о выдумках или конфабуляциях, но в быту закрепилось именно оно.

Новые модели галлюцинируют меньше?

Обычно разработчики стараются снизить их долю, и модели с доступом к поиску ошибаются реже на фактических вопросах. Но полностью проблема не решена ни у одной модели, поэтому проверка остаётся обязательной.

Можно ли пожаловаться, если ассистент пишет неправду о компании?

У многих сервисов есть кнопка оценки ответа или форма обратной связи. Пользоваться ею стоит, но надёжнее исправить источники, из которых взялась ошибка: именно их модель читает при следующем вопросе.

Если в ответе есть ссылки, ему можно доверять?

Больше, чем ответу без ссылок, но не безоговорочно. Модель может неточно пересказать источник или приписать ему то, чего там нет. Важные утверждения проверяйте по самой странице.