Что такое большая языковая модель (LLM) простыми словами
Большая языковая модель (LLM, large language model) — это нейросеть, которую научили предсказывать следующий фрагмент текста по предыдущим. Её обучали на огромном массиве текстов, и в процессе она усвоила грамматику, факты, стили и типовые рассуждения. Ответ модели — не выписка из базы данных, а текст, собранный слово за словом как самое правдоподобное продолжение вашего вопроса. На этом принципе работают ChatGPT, YandexGPT, GigaChat, Claude и другие чат-ассистенты.
Если запомнить одно предложение, пусть будет это: модель знает, как обычно пишут о предмете, а не то, как обстоит дело на самом деле. Всё остальное — следствия.
Откуда в названии «большая»
«Большая» относится к двум вещам: объёму текстов, на которых модель училась, и числу внутренних настроек — параметров. Параметры — это числа, которые подстраиваются при обучении и в итоге хранят всё, что модель «вынесла» из прочитанного. У современных моделей их миллиарды.
Удобная аналогия — эквалайзер с бесконечным числом ползунков. Каждый ползунок сам по себе ничего не значит. Но когда все стоят в нужных положениях, система на входе «как приготовить борщ» выдаёт на выходе связный рецепт.
Для пользователя размер важен косвенно: крупные модели обычно лучше рассуждают и реже путаются в длинных задачах, маленькие — быстрее и дешевле в работе. Поэтому сервисы часто держат несколько версий модели под разные задачи.
Как модель учится: три этапа
1. Предобучение. Модели показывают тексты из интернета, книг, кода и других источников и раз за разом просят угадать следующий фрагмент. Ошиблась — настройки немного сдвигаются. После огромного числа таких повторений модель умеет продолжать любой текст правдоподобно. Но это ещё не помощник: на вопрос она может ответить другим вопросом, потому что в обучающих текстах так тоже бывает.
2. Дообучение на диалогах. Модели показывают примеры «вопрос — хороший ответ», составленные людьми. Так она учится формату ассистента: отвечать по существу, следовать инструкции, держать тон.
3. Настройка по оценкам. Люди сравнивают варианты ответов и отмечают, какой лучше. Модель подстраивают так, чтобы она чаще давала ответы, которые люди предпочитают: полезные, вежливые, без опасных советов.
После этого модель «замораживают» и выпускают. Новое она сама по себе больше не узнаёт — об этом подробно в статье чем знания модели отличаются от поиска.
Как модель пишет ответ
Модель работает не со словами, а с токенами — кусочками слов. Получив вопрос, она оценивает, какой токен вероятнее всего должен идти следующим, выбирает его, добавляет к тексту и повторяет шаг. Ответ в тысячу слов — это тысячи таких шагов подряд.
В выборе есть доля случайности. Поэтому на один и тот же вопрос модель может ответить по-разному, и поэтому повторный запрос иногда даёт лучший результат.
Что важно понимать про этот механизм:
- Модель не сверяется с источником, пока ей его не дали. Она опирается на то, что усвоила при обучении. Если подключён поиск, она получает найденные страницы и пересказывает их.
- Модель не знает, что она чего-то не знает. Правдоподобный текст получается и там, где фактов нет. Так рождаются галлюцинации.
- Связность не равна правильности. Грамотный, уверенный тон — свойство модели, а не признак точного ответа.
Что LLM умеет хорошо, а что плохо
| Хорошо | Плохо или ненадёжно |
|---|---|
| пересказать и сократить текст | точные цифры, даты, цены без источника |
| переписать в другом стиле | свежие события без доступа к поиску |
| объяснить общеизвестное простыми словами | редкие факты о небольших компаниях |
| сравнить варианты по заданным признакам | длинные вычисления «в уме» |
| составить черновик письма, плана, описания | ссылки на конкретные документы и страницы по памяти |
Правая колонка — не приговор. Большую часть этих слабостей закрывают внешние инструменты: поиск, калькулятор, загруженные документы. Но сама модель без них в этих задачах рискует ошибиться.
Чем LLM отличается от поисковика
Поисковик хранит копии страниц и по запросу показывает подходящие. Он может сказать, где написано то, что вы ищете.
Языковая модель хранит не страницы, а обобщённые закономерности. Она может объяснить тему, но без подключённого поиска не скажет, на какой странице это написано, и не гарантирует, что такая страница существует.
Современные ассистенты соединяют оба подхода: модель формулирует запросы, поиск находит страницы, модель читает их и пишет ответ. Эта связка называется RAG, и именно через неё сайты попадают в ответы нейросетей.
Что это значит для владельца сайта
Из устройства LLM следуют три практических вывода.
- О небольшой компании модель «по памяти» знает мало или ничего. Сведений о вас в обучающих текстах немного, и модель их легко спутает с похожими. Поэтому рассчитывать стоит на то, что ассистент найдёт ваш сайт через поиск в момент вопроса.
- Модель пересказывает, а не копирует. Чем проще и однозначнее сформулированы факты на сайте — цены, сроки, адреса, условия, — тем меньше шансов, что пересказ их исказит.
- Модель доверяет повторяемому. Сведения, которые совпадают на нескольких независимых площадках, выглядят для неё надёжнее, чем одна страница.
Работу над тем, чтобы компания корректно попадала в ответы ассистентов, называют GEO. Кто из агентств её делает, мы сравнили в подборке на главной.
Частые вопросы
LLM и нейросеть — это одно и то же?
LLM — частный случай нейросети: та, что обучена на текстах и работает с языком. Нейросети бывают и другие — для распознавания изображений, речи, прогнозов. Когда сегодня говорят «нейросеть» в бытовом смысле, чаще всего имеют в виду именно языковую модель в чате.
Модель запоминает то, что я ей пишу?
Сама модель от вашего разговора не меняется: её настройки зафиксированы после обучения. Но сервис может сохранять историю переписки и, в зависимости от настроек, использовать её для обучения будущих версий. Как именно — указано в настройках и условиях конкретного сервиса.
Почему разные модели отвечают по-разному на один вопрос?
Они обучены на разных наборах текстов, по-разному дообучены и могут иметь разный доступ к поиску. Плюс в генерации есть доля случайности. Поэтому сравнивать ответы о своей компании стоит в нескольких ассистентах, а не в одном.
Понимает ли модель смысл?
Вопрос скорее философский. Практически важно другое: модель хорошо улавливает связи между понятиями и умеет рассуждать в рамках задачи, но не проверяет свои утверждения о мире, пока ей не дали источник.