Стоит ли гнаться за новыми inference-движками: спор в r/LocalLLaMA

⚡ Суть спора

Автор под ником Kahvana считает, что экосистема локального инференса разрослась до неудобного: если в марте 2025 хватало llama.cpp, ollama, koboldcpp, vllm, exl3+tabbyapi и litert, то теперь надо держать в голове Strata, Basalt, Maya, Colibri, Ninfer, Infernix. Вопрос к сабреддиту простой: чем вы пользуетесь и как успеваете следить за обновлениями. Спор быстро свернулся к другому — нужно ли вообще «успевать».

🗣 Что говорят участники

mrazster отвечает предельно коротко: не следит и не собирается — «I just use llama.cpp and don't give a shit about the rest». Аргумент — нагрузки и так хватает: моделей и обвязок (harnesses), которые надо держать в голове, более чем достаточно.

Perfect-Campaign9551 возражает самой постановке: «Why does everyone feel the need to „keep up with it all“?» По его мнению, следить — значит читать новости сабреддита, а не ставить каждый движок. Про Strata он узнал из ленты, скачал примерно через две недели и сейчас сидит на Strata с Qwen Next Fl.

Kooky-Mode3047 даёт фактическую картину: весь шум вокруг Strata и MoE-моделей вроде Deepseek и QFN (3.8 и будущая 4). Basalt, Infernix и Strata-nvfp4, по его словам, — специализированные форки Strata; Basalt пока самый быстрый и при этом не теряет качества, хотя Infernix, Strata-nvfp4 и базовая Strata отстают ненамного.

OvertaxedOne пересчитывает конфиг автора — два RTX 5060 Ti и 96 ГБ DDR5 — и советует всё-таки попробовать Strata: она поддерживает тот же Q4XL для QFN, а скорость генерации, по его оценке, вырастет «в несколько раз». Он же формулирует тезис, к которому ветка пришла: «model chase» для многих закончился, дальше выбор между QFN и 27B в зависимости от железа.

Второй комментарий OvertaxedOne — про карты: сам он на Ampere, и Strata, по его словам, терпимее к поддерживаемым GPU; про движки под Blackwell слышал только хорошее, но лично подтвердить не может. Дальше шутка про Pro6000 «на тест».

⚖️ Где сходятся, где расходятся

Общий знаменатель: никто не спорит, что движков стало слишком много и что гонка за каждым релизом бессмысленна. Все участники так или иначе сидят на одном-двух инструментах. У Kahvana llama.cpp v0.8.0 выдаёт 15 t/s на Qwen3.8-Flash-Next Q4_K_XL (unsloth) при dual RTX 5060 Ti 16GB, PCIe 5.0 x8x8, tensor parallel, без MTP, и его это устраивает.

Конфликт в другом. Kahvana измеряет отставание потерей скорости и подозревает у новых движков «a catch, usually bad quality». OvertaxedOne и Kooky-Mode3047 считают, что на связке Strata + QFN выигрыш кратный и качество не страдает. mrazster и Perfect-Campaign9551 отвечают, что это вопрос привычки, а не движка: знать о существовании — достаточно. Консенсуса нет: ни «в несколько раз быстрее», ни «качество хуже» в ветке никто публично не проверял.

🧪 Что проверить самому

• Прогнать одну и ту же модель (Q4_K_XL / Q4XL) в llama.cpp и в Strata на своём железе, сравнить tok/s и качество на одинаковом наборе промптов.
• Свериться со списком поддерживаемых карт: OvertaxedOne отдельно отмечает, что Strata терпимее к Ampere, а движки под Blackwell он лично не тестировал.
• Воспроизвести конфиг автора (dual 5060 Ti, tensor parallel, без MTP) и посмотреть, сколько даёт включение MTP и смена раскладки по слоям.
• Проверить, чем форки (Basalt, Infernix, Strata-nvfp4) отличаются от базовой Strata, прежде чем ставить — это заявленные форки, а не проекты.
• Замерить не только генерацию, но и время до первого токена на длинном контексте: именно там «плохое качество» обычно и вылезает.

🔗 Источники

r/LocalLLaMA — Keeping up with new inference engines

Дисклеймер: это пересказ обсуждения, а не проверенные редакцией факты. Мнения принадлежат участникам, цифры — тем, кто их привёл.