NVIDIA: длинный контекст не нужен — и переплата до 7 раз

Гонка за всё большим окном контекста — это гонка за счёт из бюджета. NVIDIA взяла и посчитала, сколько стоит помнить всё. Получилось неудобно для всей индустрии.

🔬 Что обнаружили

12 исследователей NVIDIA выложили 3 ноября на arXiv работу «You don't need long context». Главный вывод простой: длинный контекст — не бесплатная роскошь, а строка расходов. И часто её можно вычеркнуть.

Проверяли на агентских задачах. Если по ходу работы сжимать переписку в summary и идти дальше, качество в основном держится.

⚙️ Как это работает

Сначала посчитали цену. Каждый следующий токен в ответе дороже предыдущего — модель пересчитывает всю историю заново. На открытых весах разрыв доходит до 7 раз.

Дальше конкретика по моделям. Один сгенерированный токен при 256K контекста против 16K: GLM 5.2 от Z.ai — в 3,6 раза дороже, Kimi K2.6 от Moonshot — в 5,6, Qwen3 Coder Next от Alibaba — ровно в 7.

Потом прогнали шесть длинных агентских бенчмарков: SWE-bench Verified, Terminal-Bench 2.1, FRAMES, BFCLv3 и ещё два. Основные подопытные — Claude Opus 4.5 и GPT 5.6 Sol.

🧭 Чем отличается от существующих методов

Отрасль мерит контекст линейкой: больше — значит лучше. Работа бьёт по этой логике с двух сторон.

Первая: показывает асимметрию цены. Дело не в том, что «контекст дорогой», а в том, что поздние токены дороже ранних, и это множитель, а не надбавка.

Вторая: авторы предлагают не резать историю, а переписывать состояние. Идея — Semantic State Space Model: модель читает словесное описание состояния задачи, делает шаг, потом описание переписывает. Пока это только концепт — сами авторы пишут, что такую модель не обучали и не оценивали.

📊 Что удалось показать

22 конфигурации: разные лимиты полного контекста, разные пороги запуска сжатия. Просели больше чем на 2 балла от базовой линии только 5 из 22.

Режим «одно действие за шаг, дальше передаём только сжатое состояние»: у Claude Opus 4.5 на решении кодовых задач 70,0 → 70,2. У GPT 5.6 Sol 84,4 → 82,4, минус 2 балла.

Отдельный сюрприз — 1600 вопросов по длинным документам (LOONG). Полный контекст проиграл. Claude Opus 4.5 со всеми документами: средний балл 70,1, полностью верных ответов 38,9%. С выборочным чтением и контекстом до 16K: 79,3 и 53,4%.

«Скормить всё» — не всегда лучший ход. Иногда это просто дороже.

🌍 Как это может повлиять на ИИ

Длинный контекст — главный маркетинговый аргумент последних лет. Если половину работы делает грамотное сжатие, гонка за окном превращается в гонку за хороший summary.

Для тех, кто строит агентов, это прямая экономика: тот же результат за меньшее число дорогих токенов. Для провайдеров — неприятный вопрос от клиента: зачем платить за 256K, если 16K с умной памятью отвечает не хуже?

И главное, из абстракта: «Our findings question the need for long-context language models».

⚠️ Что пока не доказано

Это препринт. Рецензии нет.

Основные замеры — на двух фронтирных моделях. И есть контрпример, который авторы сами вынесли в приложение: у Qwen3 Coder Next при сжатии до 16K успех на коде рухнул с 53,0% до 3,6%. В статье это названо «catastrophically collapses». То есть сжатие — не универсальная таблетка. У части моделей оно ломает поведение, а не экономит деньги.

Semantic State Space Model остался на бумаге. Ни обучения, ни оценки.