# Стоит ли гнаться за новыми inference-движками: спор в r/LocalLLaMA

> 2026-11-07 · AI Release · @ai_release1

> #AI #LocalLLaMA #Inference

### ⚡ Суть спора Автор под ником Kahvana считает, что экосистема локального инференса разрослась до неудобного: если в марте 2025 хватало llama.cpp, ollama, koboldcpp, vllm, exl3+tabbyapi и litert, то теперь надо держать в голове Strata, Basalt, Maya, Colibri, Ninfer, Infernix. Вопрос к сабреддиту простой: чем вы пользуетесь и как успеваете следить за обновлениями. Спор быстро свернулся к другому — нужно ли вообще «успевать». ### 🗣 Что говорят участники mrazster отвечает предельно коротко: не следит и не собирается — «I just use llama.cpp and don't give a shit about the rest». Аргумент — нагрузки и так хватает: моделей и обвязок (harnesses), которые надо держать в голове, более чем достаточно. Perfect-Campaign9551 возражает самой постановке: «Why does everyone feel the need to „keep up with it all“?» По его мнению, следить — значит читать новости сабреддита, а не ставить каждый движок. Про Strata он узнал из ленты, скачал примерно через две недели и сейчас сидит на Strata с Qwen Next Fl. Kooky-Mode3047 даёт фактическую картину: весь шум вокруг Strata и MoE-моделей вроде Deepseek и QFN (3.8 и будущая 4). Basalt, Infernix и Strata-nvfp4, по его словам, — специализированные форки Strata; Basalt пока самый быстрый и при этом не теряет качества, хотя Infernix, Strata-nvfp4 и базовая Strata отстают ненамного. OvertaxedOne пересчитывает конфиг автора — два RTX 5060 Ti и 96 ГБ DDR5 — и советует всё-таки попробовать Strata: она поддерживает тот же Q4XL для QFN, а скорость генерации, по его оценке, вырастет «в несколько раз». Он же формулирует тезис, к которому ветка пришла: «model chase» для многих закончился, дальше выбор между QFN и 27B в зависимости от железа. Второй комментарий OvertaxedOne — про карты: сам он на Ampere, и Strata, по его словам, терпимее к поддерживаемым GPU; про движки под Blackwell слышал только хорошее, но лично подтвердить не может. Дальше шутка про Pro6000 «на тест». ### ⚖️ Где сходятся, где расходятся Общий знаменатель: никто не спорит, что движков стало слишком много и что гонка за каждым релизом бессмысленна. Все участники так или иначе сидят на одном-двух инструментах. У Kahvana llama.cpp v0.8.0 выдаёт 15 t/s на Qwen3.8-Flash-Next Q4_K_XL (unsloth) при dual RTX 5060 Ti 16GB, PCIe 5.0 x8x8, tensor parallel, без MTP, и его это устраивает. Конфликт в другом. Kahvana измеряет отставание потерей скорости и подозревает у новых движков «a catch, usually bad quality». OvertaxedOne и Kooky-Mode3047 считают, что на связке Strata + QFN выигрыш кратный и качество не страдает. mrazster и Perfect-Campaign9551 отвечают, что это вопрос привычки, а не движка: знать о существовании — достаточно. Консенсуса нет: ни «в несколько раз быстрее», ни «качество хуже» в ветке никто публично не проверял. ### 🧪 Что проверить самому - Прогнать одну и ту же модель (Q4_K_XL / Q4XL) в llama.cpp и в Strata на своём железе, сравнить tok/s и качество на одинаковом наборе промптов. - Свериться со списком поддерживаемых карт: OvertaxedOne отдельно отмечает, что Strata терпимее к Ampere, а движки под Blackwell он лично не тестировал. - Воспроизвести конфиг автора (dual 5060 Ti, tensor parallel, без MTP) и посмотреть, сколько даёт включение MTP и смена раскладки по слоям. - Проверить, чем форки (Basalt, Infernix, Strata-nvfp4) отличаются от базовой Strata, прежде чем ставить — это заявленные форки, а не проекты. - Замерить не только генерацию, но и время до первого токена на длинном контексте: именно там «плохое качество» обычно и вылезает. ### 🔗 Источники r/LocalLLaMA — Keeping up with new inference engines **Дисклеймер:** это пересказ обсуждения, а не проверенные редакцией факты. Мнения принадлежат участникам, цифры — тем, кто их привёл.

[Источник](https://www.reddit.com/r/LocalLLaMA/comments/1xnanyh/keeping_up_with_new_inference_engines/)