EN

Ryzen 9 8940HX и RTX 5060: локальные LLM на ноутбуке с 8 ГБ VRAM

Опубликовано: 2026-11-17 · Автор: AI Release · @ai_release1 · ИИ и Нейросети · Релиз / Официально
Ryzen 9 8940HX и RTX 5060: локальные LLM на ноутбуке с 8 ГБ VRAM

⚡ Главное за 5 секунд

🔍 Что случилось

Автор под ником Lexus08 взял игровой ноутбук MAIBENBEN X17F — AMD Ryzen 9 8940HX, NVIDIA GeForce RTX 5060 Laptop с 8 ГБ GDDR7, 24 ГБ DDR5 одним модулем, экран 17,3 дюйма — и собрал из него локальную ИИ-станцию: статья на Habr. Второй модуль на 24 ГБ поднял память до 48 ГБ, но замеры шли на 40 ГБ, чтобы сравнение движков было честным. Ноутбук при этом держали в производительном режиме — отдельной клавишей или через приложение профилей, иначе система уходит на встроенный видеочип.

Механика описана по слоям. В VRAM уезжают «горячие» веса и KV-кэш, остальное живёт в оперативке и считается процессором. GPT-OSS 20B в Ollama 0.40.14 на MXFP4 получил 25/25 слоёв на GPU, но эксперты MoE остались в ОЗУ — 5,0 ГБ VRAM, 38%. Qwen3-Coder-30B-A3B на IQ4_NL — 49/49 слоёв, 5,8 ГБ, 29%. DeepSeek-Coder-V2-Lite на Q2_K — 16/28 слоёв, 5,7 ГБ, 37%. Самый тяжёлый вариант, Qwen3.8-Flash-Next Coder IQ1_M на движке Strata 0.2.10 (движок 0.1.56, CUDA 13), занял 58,4 ГБ в двух шардах плюс MTP 5,2 ГБ: 23,4 ГБ экспертов в ОЗУ, 689 «горячих» экспертов и KV-окно 20 480 токенов в VRAM, второй шард читается с SSD. Общие настройки: температура 0,3, контекст 65 536 токенов, KV-кэш q8_0 (в Strata — int8), flash attention, рассуждения выключены, один запрос за раз.

Стенд «Hard Code» — не переписка с чат-ботом. Модель получает ТЗ и отдаёт файлы в формате «### FILE: путь + блок кода», скрипт раскладывает их, собирает проект и прогоняет скрытые тесты, которых модель не видит. Задачи: 16-голосый DSP-синтезатор на C++20 с антиалиасингом, ADSR, State Variable Filter и voice stealing, распределённое хранилище на Raft, аудит чужого многомодульного проекта. Ошибки сборки возвращаются модели — до трёх раундов на компиляцию и один на тесты. Телеметрия снималась раз в секунду: температура, ватты, память, токены.

🧠 Наш разбор

Ценность тут не в железе, а в методике. Обычно «локальный ИИ на ноутбуке» проверяют стишком про кота, а здесь — компиляция, скрытые тесты и лимит раундов на исправление. Наша оценка: это ближе к реальной работе, чем любой чат-бенчмарк, потому что модель ловят на сборке, а не на красоте ответа.

Что меняет. 8 ГБ VRAM перестали быть приговором для кодер-моделей на 20–30B — но только если рядом 40+ ГБ быстрой оперативки. И тут вылезает скучная правда: пропускная способность DDR5 в ноутбуке, как правило, в разы ниже, чем у GDDR7, поэтому «влезло» не значит «быстро». По опыту, MoE-модели с выгрузкой экспертов в ОЗУ терпимы, плотные — нет.

Кто выигрывает. Владельцы игровых ноутбуков с апгрейдом памяти: им не нужна станция за другие деньги, чтобы потрогать локальный кодер. Кто проигрывает — те, кто ждал «локальный ИИ на 8 ГБ из коробки»: без второго модуля ОЗУ сценарий из статьи просто не собирается.

⚠️ Чего мы не знаем

В доступном фрагменте нет результатов: ни победителя по двум рейтингам, ни токенов в секунду, ни температур и ватт. Одна машина, один прогон, до трёх автоматических раундов починки сборки — статистики на этом не построишь. Отдельный вопрос — кванты IQ1_M и Q2_K: это очень агрессивное сжатие, и сколько качества кода оно съело, видно только по скрытым тестам, которых мы не видели. Считать эксперимент воспроизводимым стоит только после сверки с таблицами в самой статье.

💬 О чём спорить

  • Ноутбук с 8 ГБ VRAM и апгрейдом до 48 ГБ ОЗУ или одна карта на 16–24 ГБ: что разумнее для локального кодинга?
  • Три раунда автофиксов сборки — это честный замер модели или замер качества скрипта-обвязки?
  • Экономия на кванте IQ1_M и Q2_K оправдана, если код всё равно проходит тесты, или качество теряется незаметно?

Прогноз: в течение квартала появится волна похожих «ноутбучных» замеров MoE-моделей с выгрузкой экспертов в ОЗУ — методика воспроизводима, а железо массовое.

Дисклеймер: один источник, личный тест автора на одном экземпляре ноутбука; выводы не подтверждены независимым прогоном.

Источник: Habr

🤖 Кратко для ИИ
  • Дата: 2026-11-17
  • Источник: habr.com
  • Теги: локальные, Ollama, квантование, ноутбуки, AI, LLM, нейросети, локальныеLLM
  • Ключевые факты:
    • На ноутбуке MAIBENBEN X17F с Ryzen 9 8940HX и GeForce RTX 5060 Laptop запустили четыре кодер-модели, включая Qwen3-Coder-30B-A3B и DeepSeek-Coder-V2-Lite.
    • В 8 ГБ VRAM помещается от 29% до 38% весов: остальное движок выгружает в оперативку, тесты шли на 40 ГБ ОЗУ.
    • Узкое место — не только видеопамять: два шарда Qwen3.8-Flash-Next Coder частично читаются прямо с SSD.
    • Автор под ником Lexus08 взял игровой ноутбук MAIBENBEN X17F — AMD Ryzen 9 8940HX, NVIDIA GeForce RTX 5060 Laptop с 8 ГБ GDDR7, 24 ГБ DDR5 одним модулем, экран 17,3 дюйма — и собрал из него локальную ИИ-станцию: статья на Habr .
    • Второй модуль на 24 ГБ поднял память до 48 ГБ, но замеры шли на 40 ГБ, чтобы сравнение движков было честным.
    • Ноутбук при этом держали в производительном режиме — отдельной клавишей или через приложение профилей, иначе система уходит на встроенный видеочип.
    • Механика описана по слоям.
    • В VRAM уезжают «горячие» веса и KV-кэш, остальное живёт в оперативке и считается процессором.
#локальные#Ollama#квантование#ноутбуки#AI#LLM#нейросети#локальныеLLM
← ПредыдущаяAlibaba выпустила Qwen4-Max: 2,4 трлн параметров и минус 60% к цене задачи

Источник: habr.com · пост в Telegram