Токены и контекстное окно: как нейросеть «видит» текст
Токен — это кусочек текста, с которым работает языковая модель: целое короткое слово, часть длинного слова, знак препинания или пробел. Контекстное окно — объём токенов, который модель может держать в поле зрения за один раз: ваш вопрос, историю диалога, загруженные документы, найденные страницы и собственный ответ. Всё, что не поместилось в окно, для модели не существует. Отсюда «забывчивость» в долгих переписках и то, что нейросеть читает сайт не целиком, а фрагментами.
Что такое токен
Модель не видит буквы и слова так, как мы. Перед обработкой текст режется на фрагменты по заранее составленному словарю. Частые слова попадают в словарь целиком, редкие собираются из нескольких частей.
Пример условный, реальное деление зависит от модели:
- «дом» — скорее всего один токен;
- «оптимизация» — несколько токенов, например «оптим» + «изация»;
- «GEO-продвижение» — несколько токенов, включая дефис;
- число «2026» может разбиться на части.
Словари токенов у моделей разные. У многих из них основу составляли англоязычные тексты, поэтому русский текст той же длины нередко занимает больше токенов, чем английский. Для пользователя это значит одно: в окно помещается чуть меньше русского текста, чем можно подумать.
Отсюда же происходят забавные слабости. Модель иногда ошибается, когда нужно посчитать буквы в слове или перевернуть слово задом наперёд: она видит не буквы, а куски.
Что такое контекстное окно
Представьте рабочий стол. На нём лежит всё, с чем модель работает прямо сейчас: системная инструкция от сервиса, ваши сообщения, её ответы, приложенные файлы, результаты поиска. Размер стола ограничен. Когда бумаг становится больше, чем помещается, что-то приходится убирать.
| Что лежит в окне | Откуда берётся |
|---|---|
| системная инструкция | задаёт сервис: роль, правила, формат |
| история диалога | ваши сообщения и ответы модели |
| вложения | файлы, которые вы загрузили |
| найденные фрагменты | страницы из поиска, если он подключён |
| текущий ответ | модель пишет его в то же окно |
Размер окна измеряется в токенах и у разных моделей отличается во много раз. Конкретные значения меняются от версии к версии — проверяйте их в описании сервиса.
Почему длинный диалог «забывается»
Когда переписка перерастает окно, сервис что-то делает со старыми сообщениями: отрезает самые ранние, сжимает их в краткий пересказ или подтягивает только нужные куски. В любом случае детали из начала разговора могут пропасть.
Есть и более тонкий эффект. Даже внутри окна модель уделяет разным частям текста разное внимание. Сведения, спрятанные в середине очень длинного документа, она использует хуже, чем то, что стоит в начале или в конце.
Практические приёмы для работы с чатом:
- Важные условия повторяйте ближе к концу запроса, а не только в первом сообщении.
- Для новой задачи начинайте новый диалог, а не продолжайте старый на сто сообщений.
- Большой документ лучше давать частями с конкретным вопросом к каждой.
- Если модель «забыла» договорённость, коротко напомните её — это нормально.
Как окно влияет на чтение сайтов
Это самая полезная для владельца сайта часть. Когда ассистент ищет ответ в интернете, он не кладёт в окно десять страниц целиком. Обычно система нарезает страницы на фрагменты, выбирает из них несколько самых подходящих и только их передаёт модели. Как это устроено пошагово, разобрано в статье про RAG.
Что из этого следует:
- Фрагмент должен быть понятен без соседних. Абзац «Как сказано выше, это стоит дешевле» бесполезен, если «выше» в окно не попало. Лучше: «Монтаж окна в панельном доме стоит дешевле, чем в кирпичном, потому что…»
- Ответ — в начале раздела. Если на вопрос из подзаголовка отвечает третий абзац, система может взять первые два и пропустить ответ.
- Подзаголовки работают как адреса. По ним проще понять, о чём фрагмент, и правильно его нарезать.
- Лишний текст вокруг сути разбавляет фрагмент. Вступления «прежде чем ответить, расскажем историю» занимают место, которое мог занять факт.
Это не значит, что страницы должны быть короткими. Длинная статья хороша, если она состоит из самодостаточных блоков, каждый из которых отвечает на свой вопрос.
Что происходит с большими файлами
Многие сервисы позволяют загрузить длинный документ — договор, отчёт, каталог. Кажется, что модель прочитает его целиком. На деле бывает по-разному: если документ помещается в окно, он передаётся модели полностью; если нет, сервис может нарезать его на части и подкладывать модели только те, что похожи на ваш вопрос.
Во втором случае модель отвечает не по документу, а по нескольким найденным в нём кускам. На вопрос «что сказано в пункте о штрафах» она ответит хорошо. На вопрос «есть ли в договоре противоречия» — хуже: для этого нужно видеть весь текст сразу.
Практический вывод: о большом документе спрашивайте конкретно, а для сквозных задач давайте его частями и просите сводку по каждой.
Как прикинуть число токенов
Точное число зависит от модели, но для грубой оценки достаточно здравого смысла: длинное сообщение — много токенов, таблица с цифрами — тоже много. У части сервисов для разработчиков есть счётчики токенов; если нужно точно, ориентируйтесь на них.
Обычному пользователю считать токены не нужно. Достаточно понимать, что окно конечно, а внимание модели неравномерно.
Короткий итог
- Токен — кусочек слова; модель видит текст кусочками.
- Контекстное окно — всё, что модель держит в голове прямо сейчас.
- Не поместилось в окно — для модели этого нет.
- Сайт читается фрагментами, поэтому каждый фрагмент должен отвечать сам за себя.
Как модель устроена в целом, рассказано в статье что такое большая языковая модель, а о том, кто помогает компаниям попадать в ответы ассистентов, — в подборке на главной.
Частые вопросы
Большое контекстное окно — значит, модель лучше?
Не обязательно. Большое окно позволяет загрузить больше текста, но не гарантирует, что модель одинаково внимательно использует всё загруженное. Для многих задач важнее, чтобы в окно попали правильные фрагменты, а не все подряд.
Токены — это то же самое, что слова?
Нет. Короткое частое слово может быть одним токеном, длинное или редкое — несколькими. Знаки препинания и пробелы тоже занимают токены.
Почему нейросеть иногда обрывает ответ на середине?
У ответа тоже есть предел длины, он входит в общий бюджет токенов. Если ответ упёрся в предел, модель останавливается. Обычно помогает просьба «продолжи».
Влияет ли длина страницы на то, попадёт ли она в ответ нейросети?
Сама по себе — нет. Влияет то, найдётся ли на странице фрагмент, который точно и самостоятельно отвечает на вопрос. Короткая страница с ясным ответом может обойти длинную, где ответ размазан по тексту.