# 16 ГБ VRAM под кодинг-агентов: как в r/LocalLLM делят память между моделью и контекстом

> 2026-11-05 · AI Release · @ai_release1

> #AI #ЛокальныеLLM #GGUF

### ⚡ Суть спора Владелец RTX 5060 Ti с 16 ГБ VRAM и 32 ГБ системной памяти просит совета, что запустить локально, чтобы получить что-то похожее на Claude Code или Codex. Он сразу признаёт, что апгрейд не по карману в ближайшие месяцы, и спрашивает, как выжать максимум из имеющегося. Разговор быстро сводится к арифметике: сколько видеопамяти съедят веса, сколько — KV-кэш под длинный контекст и что останется системе. ### 🗣 Что говорят участники Участник под ником Glittering_Brick6158 сразу называет карту узким местом: «The 16GB card is the real bottleneck for agent stuff, those context windows eat memory fast». По его словам, без квантования памяти будет хронически не хватать. Автор Su9rob не спорит — «I know that this is the bottleneck» — но уточняет, что расширить сетап в ближайшие месяцы не может, поэтому вопрос именно про то, что делать с тем, что есть. Самый подробный рецепт даёт randomgenericbot. Он гоняет форк llama.cpp (llama.cpp-adaptive-kv-streaming) ради большего контекста вместе с квантом IQ3_S модели, которую называет wen3.8, из репозитория ISTA-DASLab, и ставит 131k контекста в агенте pi (pi.dev). Расклад по памяти он приводит прямо: модель ~12 ГБ, KV-окно ~2 ГБ, остаётся ещё около 2 ГБ на десктоп и систему. FREEZX отвечает коротко: начинать с abliterated-варианта «Swift-1.5 Qwen3.8 Flash Next» и целиться в квант IQ2_XS, то есть жать память агрессивнее. Реплика без замеров и без объяснения, чем именно этот вариант лучше — просто рекомендация, что попробовать первым. ExpensiveParfait677 предлагает другой путь — Gyro-кванты из репозитория agentionai (Qwen3.8-Flash-Next-Gyro-GGUF), вариант S, если не хочется выгружать экспертов на SSD. По его словам, на связке 16 + 32 ГБ он запускал вариант M с контекстом 192k, kv8 и mtp. Это самый оптимистичный по длине контекста результат в ветке, но деталей теста — скорости, качества — он не приводит. ### ⚖️ Где сходятся, где расходятся Общий знаменатель: 16 ГБ хватает, только если считать бюджет памяти целиком — веса плюс KV-кэш плюс запас под систему. Все, кто дал конкретику, называют числа: около 12 ГБ на модель, 2 ГБ на окно контекста и примерно 2 ГБ в резерве. Никто не утверждает, что локальная модель заменит Claude или Codex один в один; речь о том, что вообще можно запустить. Расходятся в тактике. Одна линия — сильнее ужимать веса до IQ2_XS и не жадничать с контекстом. Другая — брать IQ3_S или Gyro-вариант и вытягивать длину контекста через kv streaming: 131k у одного участника, 192k с kv8 и mtp у другого. Настоящая точка конфликта в том, что сравнимых замеров на агентских задачах не привёл никто: сколько шагов агент проходит до ошибки, как быстро генерирует, не деградирует ли модель на низком кванте. Консенсуса по конкретной модели в ветке нет — есть два несовместимых способа экономить. ### 🧪 Что проверить самому - Сверить точные имена репозиториев и квантов на Hugging Face: в ветке они записаны сокращённо, часть названий выглядит нестандартно. - Замерить через nvidia-smi потребление на 32k, 64k и 131k контекста — увидите реальную цену KV-кэша именно на своей карте. - Прогнать один и тот же агентский сценарий на IQ2_XS и IQ3_S и сравнить не только скорость, но и число неудачных шагов. - Проверить, включается ли kv streaming в выбранном форке llama.cpp и сколько памяти он действительно отдаёт обратно. - Следить за выгрузкой на SSD: если эксперты уходят на диск, скорость агентского цикла просядет сильнее, чем от кванта. ### 🔗 Источники r/LocalLLM — Local LLM recommendations for coding and agentic workflows (RTX 5060 Ti 16GB) **Дисклеймер:** это пересказ обсуждения, а не проверенные редакцией факты. Мнения принадлежат участникам, цифры — тем, кто их привёл.

[Источник](https://www.reddit.com/r/LocalLLM/comments/1xmo41i/local_llm_recommendations_for_coding_and_agentic/)