top/geo

Что такое большая языковая модель (LLM) простыми словами

Большая языковая модель (LLM, large language model) — это нейросеть, которую научили предсказывать следующий фрагмент текста по предыдущим. Её обучали на огромном массиве текстов, и в процессе она усвоила грамматику, факты, стили и типовые рассуждения. Ответ модели — не выписка из базы данных, а текст, собранный слово за словом как самое правдоподобное продолжение вашего вопроса. На этом принципе работают ChatGPT, YandexGPT, GigaChat, Claude и другие чат-ассистенты.

Если запомнить одно предложение, пусть будет это: модель знает, как обычно пишут о предмете, а не то, как обстоит дело на самом деле. Всё остальное — следствия.

Откуда в названии «большая»

«Большая» относится к двум вещам: объёму текстов, на которых модель училась, и числу внутренних настроек — параметров. Параметры — это числа, которые подстраиваются при обучении и в итоге хранят всё, что модель «вынесла» из прочитанного. У современных моделей их миллиарды.

Удобная аналогия — эквалайзер с бесконечным числом ползунков. Каждый ползунок сам по себе ничего не значит. Но когда все стоят в нужных положениях, система на входе «как приготовить борщ» выдаёт на выходе связный рецепт.

Для пользователя размер важен косвенно: крупные модели обычно лучше рассуждают и реже путаются в длинных задачах, маленькие — быстрее и дешевле в работе. Поэтому сервисы часто держат несколько версий модели под разные задачи.

Как модель учится: три этапа

1. Предобучение. Модели показывают тексты из интернета, книг, кода и других источников и раз за разом просят угадать следующий фрагмент. Ошиблась — настройки немного сдвигаются. После огромного числа таких повторений модель умеет продолжать любой текст правдоподобно. Но это ещё не помощник: на вопрос она может ответить другим вопросом, потому что в обучающих текстах так тоже бывает.

2. Дообучение на диалогах. Модели показывают примеры «вопрос — хороший ответ», составленные людьми. Так она учится формату ассистента: отвечать по существу, следовать инструкции, держать тон.

3. Настройка по оценкам. Люди сравнивают варианты ответов и отмечают, какой лучше. Модель подстраивают так, чтобы она чаще давала ответы, которые люди предпочитают: полезные, вежливые, без опасных советов.

После этого модель «замораживают» и выпускают. Новое она сама по себе больше не узнаёт — об этом подробно в статье чем знания модели отличаются от поиска.

Как модель пишет ответ

Модель работает не со словами, а с токенами — кусочками слов. Получив вопрос, она оценивает, какой токен вероятнее всего должен идти следующим, выбирает его, добавляет к тексту и повторяет шаг. Ответ в тысячу слов — это тысячи таких шагов подряд.

В выборе есть доля случайности. Поэтому на один и тот же вопрос модель может ответить по-разному, и поэтому повторный запрос иногда даёт лучший результат.

Что важно понимать про этот механизм:

  • Модель не сверяется с источником, пока ей его не дали. Она опирается на то, что усвоила при обучении. Если подключён поиск, она получает найденные страницы и пересказывает их.
  • Модель не знает, что она чего-то не знает. Правдоподобный текст получается и там, где фактов нет. Так рождаются галлюцинации.
  • Связность не равна правильности. Грамотный, уверенный тон — свойство модели, а не признак точного ответа.

Что LLM умеет хорошо, а что плохо

ХорошоПлохо или ненадёжно
пересказать и сократить текстточные цифры, даты, цены без источника
переписать в другом стилесвежие события без доступа к поиску
объяснить общеизвестное простыми словамиредкие факты о небольших компаниях
сравнить варианты по заданным признакамдлинные вычисления «в уме»
составить черновик письма, плана, описанияссылки на конкретные документы и страницы по памяти

Правая колонка — не приговор. Большую часть этих слабостей закрывают внешние инструменты: поиск, калькулятор, загруженные документы. Но сама модель без них в этих задачах рискует ошибиться.

Чем LLM отличается от поисковика

Поисковик хранит копии страниц и по запросу показывает подходящие. Он может сказать, где написано то, что вы ищете.

Языковая модель хранит не страницы, а обобщённые закономерности. Она может объяснить тему, но без подключённого поиска не скажет, на какой странице это написано, и не гарантирует, что такая страница существует.

Современные ассистенты соединяют оба подхода: модель формулирует запросы, поиск находит страницы, модель читает их и пишет ответ. Эта связка называется RAG, и именно через неё сайты попадают в ответы нейросетей.

Что это значит для владельца сайта

Из устройства LLM следуют три практических вывода.

  1. О небольшой компании модель «по памяти» знает мало или ничего. Сведений о вас в обучающих текстах немного, и модель их легко спутает с похожими. Поэтому рассчитывать стоит на то, что ассистент найдёт ваш сайт через поиск в момент вопроса.
  2. Модель пересказывает, а не копирует. Чем проще и однозначнее сформулированы факты на сайте — цены, сроки, адреса, условия, — тем меньше шансов, что пересказ их исказит.
  3. Модель доверяет повторяемому. Сведения, которые совпадают на нескольких независимых площадках, выглядят для неё надёжнее, чем одна страница.

Работу над тем, чтобы компания корректно попадала в ответы ассистентов, называют GEO. Кто из агентств её делает, мы сравнили в подборке на главной.

Частые вопросы

LLM и нейросеть — это одно и то же?

LLM — частный случай нейросети: та, что обучена на текстах и работает с языком. Нейросети бывают и другие — для распознавания изображений, речи, прогнозов. Когда сегодня говорят «нейросеть» в бытовом смысле, чаще всего имеют в виду именно языковую модель в чате.

Модель запоминает то, что я ей пишу?

Сама модель от вашего разговора не меняется: её настройки зафиксированы после обучения. Но сервис может сохранять историю переписки и, в зависимости от настроек, использовать её для обучения будущих версий. Как именно — указано в настройках и условиях конкретного сервиса.

Почему разные модели отвечают по-разному на один вопрос?

Они обучены на разных наборах текстов, по-разному дообучены и могут иметь разный доступ к поиску. Плюс в генерации есть доля случайности. Поэтому сравнивать ответы о своей компании стоит в нескольких ассистентах, а не в одном.

Понимает ли модель смысл?

Вопрос скорее философский. Практически важно другое: модель хорошо улавливает связи между понятиями и умеет рассуждать в рамках задачи, но не проверяет свои утверждения о мире, пока ей не дали источник.