Автор блога RUVDS на Хабре под ником Tirarex собрал стенд: Ryzen 9 7945HX, 64 ГБ DDR5-5200 cl40, Palit RTX 5060 Ti 16 ГБ, блок питания Formula PSFX-1000 Platinum. Повод — движок Strata, заточенный под архитектуру Qwen3.8-Flash-Next и будущего Qwen4.
Механика простая. Strata не перекидывает слои модели туда-сюда между картой и памятью. Самые нужные «эксперты» сидят в VRAM, остальные — в оперативке, большая справочная таблица лежит на SSD. Когда нужный эксперт оказался в RAM, скорость проседает, но не до нуля. Похожие механизмы уже есть в llama.cpp, вот только Strata заводится заметно проще — на этом автор и строит свою рекомендацию.
Для базы он прогнал Qwen3.8-27B (Q3_K_XL) в LM Studio с контекстом 8к: 5–8 токенов/с, а через 23 минуты — ошибка. Контекста не хватило, чтобы дописать сапёр. Потом тот же промпт ушёл в Strata к Qwen3.8-Flash-Next (IQ3_S) с контекстом 512K: 56 секунд, 24,7к токенов, скорость от 70 до 35 токенов/с. Игра работает. Бильярд — «ради веселья».
Дальше автор сам раскрывает подвох. Все демки крутились на RTX 2000 ADA 16 GB с GDDR6 и 128-битной шиной, а не на 5060 Ti. На 5060 Ti, по его словам, выйдет быстрее, но стенд ещё надо настроить.
По железу разброс большой: AMD от 6000 серии до Strix Halo, Intel ARC и PRO, Nvidia с 20-й по 50-ю, Apple Silicon, DGX Spark. На свежих картах Nvidia и AMD ставится Strata Desktop APP — пара кликов вместе с загрузкой модели. На остальном — руками, и это уже совсем другой вечер. Все детали — в материале на Хабре.
Уперлось всё в контекст, а не в скорость. 16 ГБ VRAM тянут 27B в Q3, но только с 8к контекста — а для кода этого мало, модель теряет нить и разваливает работу. Отсюда и 23 минуты впустую. Наша оценка: главный сдвиг тут не в токенах в секунду, а в том, что обещание «512K на игровом ПК» вообще стало звучать правдоподобно.
Что это меняет для кошелька? Одна карта среднего сегмента плюс 64 ГБ DDR5 — и вы уже не платите за подписку. Но 35–70 токенов/с на прототипе и 35–70 на реальном проекте — разные вещи. Мы считаем, что для скриптов и мелких утилит этого хватит, а для большого репозитория придётся смотреть, как модель держит длинный контекст, а не как быстро она его читает.
Кто выигрывает? Владельцы 16-гигабайтных карт и Apple Silicon — им впервые дают внятную инструкцию, а не простыню флагов. Кто проигрывает? Пока никто: облачные API не дрогнут от стенда на одном столе. Гипотеза: ниша локальных движков — приватность и офлайн, а не погоня за фронтирными моделями.
Стенд один, замеры — одного человека, и ни одной цифры с RTX 5060 Ti в тексте нет. Что такое Qwen3.8-Flash-Next и откуда взялся квант IQ3_S, автор не разбирает — верить названию на слово не стоит. Сравнения с llama.cpp на той же модели и том же контексте тоже нет, так что «проще» — это про установку, а не про результат. Проверять самому: скорость на своём железе и качество кода после сотни тысяч токенов контекста.
Прогноз: в течение квартала появится хотя бы один независимый замер Strata на RTX 5060 Ti 16 ГБ — без него спор про «Claude дома» так и останется историей про один стол.
Дисклеймер: один источник, замеры энтузиаста, независимой проверки нет.
Источник: Хабр / RUVDS
Источник: habr.com · пост в Telegram