16 ГБ VRAM под кодинг-агентов: как в r/LocalLLM делят память между моделью и контекстом

⚡ Суть спора

Владелец RTX 5060 Ti с 16 ГБ VRAM и 32 ГБ системной памяти просит совета, что запустить локально, чтобы получить что-то похожее на Claude Code или Codex. Он сразу признаёт, что апгрейд не по карману в ближайшие месяцы, и спрашивает, как выжать максимум из имеющегося. Разговор быстро сводится к арифметике: сколько видеопамяти съедят веса, сколько — KV-кэш под длинный контекст и что останется системе.

🗣 Что говорят участники

Участник под ником Glittering_Brick6158 сразу называет карту узким местом: «The 16GB card is the real bottleneck for agent stuff, those context windows eat memory fast». По его словам, без квантования памяти будет хронически не хватать. Автор Su9rob не спорит — «I know that this is the bottleneck» — но уточняет, что расширить сетап в ближайшие месяцы не может, поэтому вопрос именно про то, что делать с тем, что есть.

Самый подробный рецепт даёт randomgenericbot. Он гоняет форк llama.cpp (llama.cpp-adaptive-kv-streaming) ради большего контекста вместе с квантом IQ3_S модели, которую называет wen3.8, из репозитория ISTA-DASLab, и ставит 131k контекста в агенте pi (pi.dev). Расклад по памяти он приводит прямо: модель ~12 ГБ, KV-окно ~2 ГБ, остаётся ещё около 2 ГБ на десктоп и систему.

FREEZX отвечает коротко: начинать с abliterated-варианта «Swift-1.5 Qwen3.8 Flash Next» и целиться в квант IQ2_XS, то есть жать память агрессивнее. Реплика без замеров и без объяснения, чем именно этот вариант лучше — просто рекомендация, что попробовать первым.

ExpensiveParfait677 предлагает другой путь — Gyro-кванты из репозитория agentionai (Qwen3.8-Flash-Next-Gyro-GGUF), вариант S, если не хочется выгружать экспертов на SSD. По его словам, на связке 16 + 32 ГБ он запускал вариант M с контекстом 192k, kv8 и mtp. Это самый оптимистичный по длине контекста результат в ветке, но деталей теста — скорости, качества — он не приводит.

⚖️ Где сходятся, где расходятся

Общий знаменатель: 16 ГБ хватает, только если считать бюджет памяти целиком — веса плюс KV-кэш плюс запас под систему. Все, кто дал конкретику, называют числа: около 12 ГБ на модель, 2 ГБ на окно контекста и примерно 2 ГБ в резерве. Никто не утверждает, что локальная модель заменит Claude или Codex один в один; речь о том, что вообще можно запустить.

Расходятся в тактике. Одна линия — сильнее ужимать веса до IQ2_XS и не жадничать с контекстом. Другая — брать IQ3_S или Gyro-вариант и вытягивать длину контекста через kv streaming: 131k у одного участника, 192k с kv8 и mtp у другого. Настоящая точка конфликта в том, что сравнимых замеров на агентских задачах не привёл никто: сколько шагов агент проходит до ошибки, как быстро генерирует, не деградирует ли модель на низком кванте. Консенсуса по конкретной модели в ветке нет — есть два несовместимых способа экономить.

🧪 Что проверить самому

• Сверить точные имена репозиториев и квантов на Hugging Face: в ветке они записаны сокращённо, часть названий выглядит нестандартно.
• Замерить через nvidia-smi потребление на 32k, 64k и 131k контекста — увидите реальную цену KV-кэша именно на своей карте.
• Прогнать один и тот же агентский сценарий на IQ2_XS и IQ3_S и сравнить не только скорость, но и число неудачных шагов.
• Проверить, включается ли kv streaming в выбранном форке llama.cpp и сколько памяти он действительно отдаёт обратно.
• Следить за выгрузкой на SSD: если эксперты уходят на диск, скорость агентского цикла просядет сильнее, чем от кванта.

🔗 Источники

r/LocalLLM — Local LLM recommendations for coding and agentic workflows (RTX 5060 Ti 16GB)

Дисклеймер: это пересказ обсуждения, а не проверенные редакцией факты. Мнения принадлежат участникам, цифры — тем, кто их привёл.