Qwen3.8-Flash-Next на 125B запустили на AMD Strix Halo без дискретной видеокарты

⚡ Главное за 5 секунд

• Qwen3.8-Flash-Next на 125 млрд параметров подняли на AMD Strix Halo — без дискретной видеокарты.
• Связка железа и софта: 128 ГБ унифицированной памяти, слой HALOGEN, система Fedora 43.
• На каждый шаг генерации у MoE активны только 6 млрд параметров — на этом и держится вся схема.

🔍 Что обнаружено

Автор статьи на Habr собрал локальный LLM-сервер на APU AMD Strix Halo с 128 ГБ унифицированной памяти. Модель — Qwen3.8-Flash-Next, гибридная архитектура MoE: 125 млрд параметров хранятся в памяти, но в работе на каждом токене участвуют лишь около 6 млрд. Запуск идёт через HALOGEN на Fedora 43. Дискретная видеокарта в конфигурации не участвует — вся модель живёт в общей памяти APU.

Механика простая: в MoE-модели на каждый токен маршрутизатор поднимает лишь часть экспертов, поэтому считать приходится по «активным» 6 млрд, а не по всем 125 млрд. Но держать в памяти всё равно нужно весь объём весов — вот тут и нужен большой пул унифицированной памяти, который Strix Halo даёт одним куском для CPU и GPU. HALOGEN в этой схеме отвечает за слой запуска модели, сама работа идёт под Fedora 43.

💡 Почему это важно

Унифицированная память превращает APU в машину для локального инференса: 128 ГБ хватает, чтобы целиком уложить MoE-модель на 125 млрд параметров, и не покупать при этом дискретную карту. Для тех, кто гоняет модели дома или в офисе без датацентрового железа, это рабочий сценарий, а не теоретический: автор статьи довёл сборку до запуска и описал её. Детали конфигурации и параметры запуска — в исходной статье на Habr.