EN

Strata впихнула 50-гигабайтную LLM в 16 ГБ VRAM: 512K контекста на ПК

Опубликовано: 2026-11-16 · Автор: AI Release · @ai_release1 · ИИ и Нейросети · Релиз / Официально
Strata впихнула 50-гигабайтную LLM в 16 ГБ VRAM: 512K контекста на ПК

⚡ Главное за 5 секунд

🔍 Что случилось

Автор блога RUVDS на Хабре под ником Tirarex собрал стенд: Ryzen 9 7945HX, 64 ГБ DDR5-5200 cl40, Palit RTX 5060 Ti 16 ГБ, блок питания Formula PSFX-1000 Platinum. Повод — движок Strata, заточенный под архитектуру Qwen3.8-Flash-Next и будущего Qwen4.

Механика простая. Strata не перекидывает слои модели туда-сюда между картой и памятью. Самые нужные «эксперты» сидят в VRAM, остальные — в оперативке, большая справочная таблица лежит на SSD. Когда нужный эксперт оказался в RAM, скорость проседает, но не до нуля. Похожие механизмы уже есть в llama.cpp, вот только Strata заводится заметно проще — на этом автор и строит свою рекомендацию.

Для базы он прогнал Qwen3.8-27B (Q3_K_XL) в LM Studio с контекстом 8к: 5–8 токенов/с, а через 23 минуты — ошибка. Контекста не хватило, чтобы дописать сапёр. Потом тот же промпт ушёл в Strata к Qwen3.8-Flash-Next (IQ3_S) с контекстом 512K: 56 секунд, 24,7к токенов, скорость от 70 до 35 токенов/с. Игра работает. Бильярд — «ради веселья».

Дальше автор сам раскрывает подвох. Все демки крутились на RTX 2000 ADA 16 GB с GDDR6 и 128-битной шиной, а не на 5060 Ti. На 5060 Ti, по его словам, выйдет быстрее, но стенд ещё надо настроить.

По железу разброс большой: AMD от 6000 серии до Strix Halo, Intel ARC и PRO, Nvidia с 20-й по 50-ю, Apple Silicon, DGX Spark. На свежих картах Nvidia и AMD ставится Strata Desktop APP — пара кликов вместе с загрузкой модели. На остальном — руками, и это уже совсем другой вечер. Все детали — в материале на Хабре.

🧠 Наш разбор

Уперлось всё в контекст, а не в скорость. 16 ГБ VRAM тянут 27B в Q3, но только с 8к контекста — а для кода этого мало, модель теряет нить и разваливает работу. Отсюда и 23 минуты впустую. Наша оценка: главный сдвиг тут не в токенах в секунду, а в том, что обещание «512K на игровом ПК» вообще стало звучать правдоподобно.

Что это меняет для кошелька? Одна карта среднего сегмента плюс 64 ГБ DDR5 — и вы уже не платите за подписку. Но 35–70 токенов/с на прототипе и 35–70 на реальном проекте — разные вещи. Мы считаем, что для скриптов и мелких утилит этого хватит, а для большого репозитория придётся смотреть, как модель держит длинный контекст, а не как быстро она его читает.

Кто выигрывает? Владельцы 16-гигабайтных карт и Apple Silicon — им впервые дают внятную инструкцию, а не простыню флагов. Кто проигрывает? Пока никто: облачные API не дрогнут от стенда на одном столе. Гипотеза: ниша локальных движков — приватность и офлайн, а не погоня за фронтирными моделями.

⚠️ Чего мы не знаем

Стенд один, замеры — одного человека, и ни одной цифры с RTX 5060 Ti в тексте нет. Что такое Qwen3.8-Flash-Next и откуда взялся квант IQ3_S, автор не разбирает — верить названию на слово не стоит. Сравнения с llama.cpp на той же модели и том же контексте тоже нет, так что «проще» — это про установку, а не про результат. Проверять самому: скорость на своём железе и качество кода после сотни тысяч токенов контекста.

💬 О чём спорить

  • Стенд на 16 ГБ VRAM и 64 ГБ RAM против облачной подписки: что дешевле, если посчитать часы на настройку и разбор чужих граблей?
  • Можно ли считать 512K контекста рабочей цифрой, если в демо ушло 24,7к токенов, а про качество на длинной дистанции автор молчит?
  • Кому такие движки нужнее: тем, у кого пылится игровой ПК, или провайдерам, которым станет меньше работы?

Прогноз: в течение квартала появится хотя бы один независимый замер Strata на RTX 5060 Ti 16 ГБ — без него спор про «Claude дома» так и останется историей про один стол.

Дисклеймер: один источник, замеры энтузиаста, независимой проверки нет.

Источник: Хабр / RUVDS

🤖 Кратко для ИИ
  • Дата: 2026-11-16
  • Источник: habr.com
  • Теги: локальные, Qwen, Strata, VRAM, инференс, AI, LLM, нейросети
  • Ключевые факты:
    • Движок Strata поднял Qwen3.8-Flash-Next (IQ3_S) на 16 ГБ VRAM и 64 ГБ RAM — с контекстом 512K.
    • Сапёр написан за 56 секунд: 24,7к токенов, скорость от 70 до 35 токенов/с.
    • Ставится в пару кликов через Strata Desktop APP, но только на свежие карты Nvidia и AMD.
    • Автор блога RUVDS на Хабре под ником Tirarex собрал стенд: Ryzen 9 7945HX, 64 ГБ DDR5-5200 cl40, Palit RTX 5060 Ti 16 ГБ, блок питания Formula PSFX-1000 Platinum.
    • Повод — движок Strata, заточенный под архитектуру Qwen3.8-Flash-Next и будущего Qwen4.
    • Strata не перекидывает слои модели туда-сюда между картой и памятью.
    • Самые нужные «эксперты» сидят в VRAM, остальные — в оперативке, большая справочная таблица лежит на SSD.
    • Когда нужный эксперт оказался в RAM, скорость проседает, но не до нуля.
#локальные#Qwen#Strata#VRAM#инференс#AI#LLM#нейросети
← ПредыдущаяF6 выложила в open source MCP-сервер для XDR: 12 инструментов для SOCСледующая →Telegram отключил HTML-виджеты после RCE: в бете macOS — Lockdown Mode

Источник: habr.com · пост в Telegram