Автор под ником Lexus08 взял игровой ноутбук MAIBENBEN X17F — AMD Ryzen 9 8940HX, NVIDIA GeForce RTX 5060 Laptop с 8 ГБ GDDR7, 24 ГБ DDR5 одним модулем, экран 17,3 дюйма — и собрал из него локальную ИИ-станцию: статья на Habr. Второй модуль на 24 ГБ поднял память до 48 ГБ, но замеры шли на 40 ГБ, чтобы сравнение движков было честным. Ноутбук при этом держали в производительном режиме — отдельной клавишей или через приложение профилей, иначе система уходит на встроенный видеочип.
Механика описана по слоям. В VRAM уезжают «горячие» веса и KV-кэш, остальное живёт в оперативке и считается процессором. GPT-OSS 20B в Ollama 0.40.14 на MXFP4 получил 25/25 слоёв на GPU, но эксперты MoE остались в ОЗУ — 5,0 ГБ VRAM, 38%. Qwen3-Coder-30B-A3B на IQ4_NL — 49/49 слоёв, 5,8 ГБ, 29%. DeepSeek-Coder-V2-Lite на Q2_K — 16/28 слоёв, 5,7 ГБ, 37%. Самый тяжёлый вариант, Qwen3.8-Flash-Next Coder IQ1_M на движке Strata 0.2.10 (движок 0.1.56, CUDA 13), занял 58,4 ГБ в двух шардах плюс MTP 5,2 ГБ: 23,4 ГБ экспертов в ОЗУ, 689 «горячих» экспертов и KV-окно 20 480 токенов в VRAM, второй шард читается с SSD. Общие настройки: температура 0,3, контекст 65 536 токенов, KV-кэш q8_0 (в Strata — int8), flash attention, рассуждения выключены, один запрос за раз.
Стенд «Hard Code» — не переписка с чат-ботом. Модель получает ТЗ и отдаёт файлы в формате «### FILE: путь + блок кода», скрипт раскладывает их, собирает проект и прогоняет скрытые тесты, которых модель не видит. Задачи: 16-голосый DSP-синтезатор на C++20 с антиалиасингом, ADSR, State Variable Filter и voice stealing, распределённое хранилище на Raft, аудит чужого многомодульного проекта. Ошибки сборки возвращаются модели — до трёх раундов на компиляцию и один на тесты. Телеметрия снималась раз в секунду: температура, ватты, память, токены.
Ценность тут не в железе, а в методике. Обычно «локальный ИИ на ноутбуке» проверяют стишком про кота, а здесь — компиляция, скрытые тесты и лимит раундов на исправление. Наша оценка: это ближе к реальной работе, чем любой чат-бенчмарк, потому что модель ловят на сборке, а не на красоте ответа.
Что меняет. 8 ГБ VRAM перестали быть приговором для кодер-моделей на 20–30B — но только если рядом 40+ ГБ быстрой оперативки. И тут вылезает скучная правда: пропускная способность DDR5 в ноутбуке, как правило, в разы ниже, чем у GDDR7, поэтому «влезло» не значит «быстро». По опыту, MoE-модели с выгрузкой экспертов в ОЗУ терпимы, плотные — нет.
Кто выигрывает. Владельцы игровых ноутбуков с апгрейдом памяти: им не нужна станция за другие деньги, чтобы потрогать локальный кодер. Кто проигрывает — те, кто ждал «локальный ИИ на 8 ГБ из коробки»: без второго модуля ОЗУ сценарий из статьи просто не собирается.
В доступном фрагменте нет результатов: ни победителя по двум рейтингам, ни токенов в секунду, ни температур и ватт. Одна машина, один прогон, до трёх автоматических раундов починки сборки — статистики на этом не построишь. Отдельный вопрос — кванты IQ1_M и Q2_K: это очень агрессивное сжатие, и сколько качества кода оно съело, видно только по скрытым тестам, которых мы не видели. Считать эксперимент воспроизводимым стоит только после сверки с таблицами в самой статье.
Прогноз: в течение квартала появится волна похожих «ноутбучных» замеров MoE-моделей с выгрузкой экспертов в ОЗУ — методика воспроизводима, а железо массовое.
Дисклеймер: один источник, личный тест автора на одном экземпляре ноутбука; выводы не подтверждены независимым прогоном.
Источник: Habr
Источник: habr.com · пост в Telegram