# BudgetMix RL: почему многоходовой RL в LLM-агентах зависит от бюджета ходов

> 2026-11-05 · AI Release · @ai_release1

> #LLM-агенты #reinforcement #arXiv #BudgetMix #AI #RL #LLM #агенты

### ⚡ Главное за 5 секунд - Многоходовой RL у LLM-агентов выигрывает только при достаточном бюджете ходов: метрика Pass@(K,T) проседает, когда бюджет урезают. - Оценка идёт по двум осям: ширина сэмплирования K и глубина взаимодействия T. - Главный эффект — не лучшее одиночное решение, а восстановление после ошибок и устойчивость на длинных задачах. ### 🔍 Что случилось Вышел препринт arXiv:2611.06483 (cs.LG, раздел cs.CL) от 4 ноября 2026 года — «What Does Multi-Turn Reinforcement Learning Really Improve in LLM Agents?». Авторы: Kejian Zhu, Zhuoran Jin, Shangqing Tu, Tianyi Men, Yupu Hao, Jiachun Li, Kang Liu, Jun Zhao. Вывод сформулирован прямо в аннотации: многоходовой агентный RL хорош на длинных задачах, но его прирост сильно зависит от ограничений взаимодействия. Механика оценки построена на метрике Pass@(K,T): K — ширина сэмплирования, T — глубина взаимодействия. Прогоняя агента по этим двум осям, авторы показывают, что преимущество trajectory-level RL держится на достаточном бюджете ходов и заметно падает, когда бюджет ужимают. Отдельный результат: агентный RL не поднимает равномерно качество одиночного шага — его сила сосредоточена в восстановлении после ошибок и в устойчивости на длинном горизонте. Как лекарство от «бюджетной зависимости» предложен BudgetMix RL: во время тренировки бюджет взаимодействия меняется, а не фиксируется. Плюс есть предварительное обсуждение сигналов process supervision. ### 🧠 Наш разбор Почему именно сейчас: агентные пайплайны всё чаще обучают RL на траекториях, а лаборатории упираются в счёт за инференс. Работа бьёт ровно в этот нерв — если выигрыш существует только при щедром T, то в проде, где каждый лишний шаг стоит денег и времени, такой агент развалится. Наша оценка: это не «новая модель», а трезвая проверка того, что мы вообще покупаем за длинные траектории. Что меняет: бюджет ходов становится таким же параметром сравнения, как размер модели. Если Pass@(K,T) действительно ломается при сжатии T, то цифры «агент решает X% задач» без указания бюджета мало что значат. Меня смущает другое — process supervision авторы разбирают лишь предварительно, то есть альтернатива BudgetMix пока выглядит гипотезой, а не готовым рецептом. Кто выигрывает и кто проигрывает. Выигрывают команды, которые гоняют агентов в проде с жёсткими лимитами на шаги: им дали язык для описания проблемы. Проигрывают, по нашей оценке, те, кто строит бенчмарк-отчёты на максимально щедром бюджете — их результаты перестанут быть сопоставимыми. Ставлю на то, что в течение года отчёты про агентов начнут требовать указания T наравне с числом параметров. ### ⚠️ Чего мы не знаем В аннотации нет ни одной конкретной цифры: ни моделей, ни бенчмарков, ни абсолютных значений Pass@(K,T), ни того, насколько именно падает метрика при сжатии бюджета. Фраза «BudgetMix RL achieves robust performance across diverse execution settings» — утверждение без чисел, верить на слово не стоит. Это препринт, а не рецензированная публикация. Проверять стоит PDF и проектную страницу: есть ли код, какие именно interaction constraints тестировали и что понимается под single-step decision quality. ### 💬 О чём спорить - Если агент выигрывает в основном за счёт восстановления после ошибок, стоит ли вообще оптимизировать его одиночные шаги — или дешевле дать ему право на ошибку и лишний ход? - BudgetMix RL меняет бюджет во время тренировки: это честная подготовка к жёстким лимитам или подгонка под конкретный диапазон T в ущерб другим? - Кто должен задавать стандарт отчётности для агентных бенчмарков — авторы моделей или независимые площадки и лидерборды? **Прогноз:** в течение двух кварталов как минимум одна крупная лаборатория начнёт публиковать результаты агентов с явным указанием бюджета ходов (T) рядом с названием модели. Если этого не случится, индустрия считает бюджет деталью реализации — и тогда выводы статьи останутся академической ремаркой. Проверяемо по карточкам моделей и бенчмарк-таблицам. **Источник:** arXiv

[Источник](https://arxiv.org/abs/2611.06483)