← Все гайды AI Release
EN Подписаться на @ai_release1

Как запустить локальную LLM на ноутбуке с Ryzen 9 8940HX и RTX 5060: настройка, VRAM и скорость

Обновлено: 17.11.2026 · AI Release · @ai_release1
Как запустить локальную LLM на ноутбуке с Ryzen 9 8940HX и RTX 5060: настройка, VRAM и скорость

TL;DR

Требования и подготовка

Иллюстрация к разделу «Требования и подготовка»
Иллюстрация к разделу «Требования и подготовка»

Типовые инструкции начинаются с ollama run и заканчиваются «работает». На ноутбуке с мобильной видеокартой этого мало: узкое место — не CPU и не модель, а объём VRAM (видеопамять GPU) и то, сколько слоёв модели в неё реально поместится. Поэтому сначала считаем бюджет памяти, потом качаем гигабайты.

Чек-лист перед стартом:

Пример: Get-PSDrive C | Select-Object Used,Free — покажет занято/свободно в байтах; переведите в гигабайты, прежде чем качать модель.

Почему это работает: квантование (сжатие весов модели, например 4 бита на параметр вместо 16) уменьшает размер в разы, но не бесконечно — и именно от него зависит, влезет модель в VRAM или нет.

Если задача — не ноутбук, а ускоритель другого класса, логика меняется: например, для NPU-платы нужен отдельный стек драйверов — см. Как запустить Huawei Atlas 300I Duo в Linux.

Шаг 1. Инвентаризация: сколько VRAM реально свободно

Что сделать: снять три числа — общий объём VRAM, занятый объём в простое и число физических ядер CPU. Записать в budget.md.

Зачем: «8 ГБ на борту» ≠ «8 ГБ доступно модели». Часть памяти занимает рабочий стол, браузер и драйвер. Разница между memory.total и memory.used — ваш реальный потолок.

Как проверить: значения из команд совпадают с тем, что вы записали в файл.

nvidia-smi --query-gpu=name,memory.total,memory.used,driver_version --format=csv
nvidia-smi

Пример ожидаемого вывода:

name, memory.total [MiB], memory.used [MiB], driver_version
NVIDIA GeForce RTX 5060 Laptop GPU, <NNNN> MiB, <NNN> MiB, <версия>

Числа в угловых скобках у каждого свои — их и переносите в бюджет. Второй вызов nvidia-smi покажет таблицу процессов: там видно, кто уже держит память (браузер, Discord, другой рантайм).

Get-CimInstance Win32_Processor | Select-Object Name,NumberOfCores,NumberOfLogicalProcessors

Пример: NumberOfCores : 16, NumberOfLogicalProcessors : 32 — для llama.cpp берём именно NumberOfCores (физические ядра), а не логические: потоки на HT/SMT обычно замедляют генерацию.

Дальше — арифметика бюджета:

свободно_под_модель = memory.total − memory.used − запас_на_контекст
пример: <NNNN> − <NNN> − <1500> ≈ <остаток> MiB

Запас на контекст — это KV-кэш (память под историю диалога; растёт линейно с длиной контекста -c), плюс буферы вычислений. Оценка размера весов считается по формуле:

вес ≈ параметры_млрд × биты_квантования / 8  (ГБ)
пример: 8B при 4 битах ≈ 8 × 4 / 8 ≈ 4 ГБ

Важно: формула даёт только вес, без кэша и накладных расходов — фактическое потребление всегда выше расчётного, поэтому и нужен запас.

Что фиксируемКомандаКуда в `budget.md`
Объём VRAM`nvidia-smi --query-gpu=memory.total``VRAM_total`
Занято в простое`nvidia-smi --query-gpu=memory.used``VRAM_idle`
Физические ядра`Get-CimInstance Win32_Processor``threads`
Свободно под модельрасчёт выше`VRAM_free`

Шаг 2. Установка рантайма и запуск с контролем вытеснения слоёв

Иллюстрация к разделу «Шаг 2. Установка рантайма и запуск с контролем вытеснения слоёв»
Иллюстрация к разделу «Шаг 2. Установка рантайма и запуск с контролем вытеснения слоёв»

Что сделать: поставить Ollama для быстрого старта, затем настроить llama.cpp для точного контроля раскладки слоёв.

Зачем: Ollama удобна, но прячет параметр -ngl (number of GPU layers — сколько слоёв модели отдать на видеокарту). llama.cpp показывает его явно, и именно там видно, влезла модель целиком или часть ушла в системную RAM.

Установка Ollama (Windows-инсталлятор с ollama.com) и настройка переменных окружения в PowerShell:

$env:OLLAMA_FLASH_ATTENTION="1"
$env:OLLAMA_KV_CACHE_TYPE="q8_0"
$env:OLLAMA_NUM_PARALLEL="1"
ollama serve

Почему это работает: OLLAMA_KV_CACHE_TYPE=q8_0 хранит KV-кэш в 8-битном виде вместо 16-битного — примерно вдвое меньше памяти под контекст; OLLAMA_NUM_PARALLEL=1 убирает резерв под параллельные запросы, который на ноутбуке не нужен. Набор поддерживаемых переменных зависит от версии — сверьтесь с документацией Ollama перед запуском.

Как проверить: во втором окне PowerShell запросить состояние сервера и убедиться, что он отвечает:

ollama list

Пример: команда печатает таблицу NAME ID SIZE MODIFIED; пустая таблица — сервер работает, моделей ещё нет.

Скачивание модели под ваш бюджет из Шага 1:

ollama pull <имя-модели>:<тег>

Пример: если VRAM_free после расчёта — около 5 ГБ, берите модель класса 8B в 4-битном квантовании; теги квантования смотрите на странице конкретной модели (сверьтесь с документацией, набор тегов у каждой модели свой).

Точный контроль — llama.cpp. Флаг -ngl 99 означает «все слои на GPU» (99 — заведомо больше числа слоёв):

.\llama-cli.exe -m .\models\<модель>.gguf -ngl 99 -c 4096 -t 16 -fa

Как проверить: в логе загрузки найти строку llm_load_tensors: offloaded N/M layers to GPU. Если N = M — модель целиком на видеокарте.

Шаг 3. Замер скорости и фиксация результата

Иллюстрация к разделу «Шаг 3. Замер скорости и фиксация результата»
Иллюстрация к разделу «Шаг 3. Замер скорости и фиксация результата»

Что сделать: прогнать одну и ту же модель в трёх конфигурациях и записать скорость генерации в токенах/с (токен — единица текста, примерно часть слова).

Зачем: «влезло» и «быстро» — разные вещи. Часть слоёв в RAM даёт работу, но скорость падает в разы; без замера это не видно.

ollama run <имя-модели>:<тег> --verbose

Пример: после ответа на запрос вроде Напиши список из 5 шагов проверки драйвера Ollama печатает статистику:

eval count: <N> token(s)
eval duration: <T>
eval rate: <X> tokens/s

Во втором окне параллельно снимайте пик памяти:

nvidia-smi --query-gpu=memory.used --format=csv -l 1

Как проверить: три конфигурации llama.cpp дают три разных числа — заполните таблицу:

КонфигурацияФлаг`offloaded` в логе`memory.used` пик, MiBtokens/s
Всё на GPU`-ngl 99`N/M = M/M
Часть на CPU`-ngl <половина>`N/M < M/M
Только CPU`-ngl 0`0/M

Признаки успеха: в логе нет CUDA error, memory.used не доходит до memory.total, строка eval rate присутствует. Записанные в budget.md цифры — ваша база для сравнения: после смены квантования или контекста вы увидите разницу в числах, а не «в ощущениях».

Если позже понадобится запускать те же модели вне ноутбука, готовые приложения и ограничения мобильного железа разобраны в гайде по запуску ИИ-модели локально на Android.

Возможные проблемы и решения

Проблема. Модель не помещается в VRAM при -ngl 99

Проблема. Ollama работает, но GPU простаивает

Проблема. Медленная генерация

Резюме и следующие шаги

Рабочая схема — сначала посчитать бюджет VRAM и ядер, потом подобрать квантование, и только затем запускать с -ngl 99, уменьшая значение до исчезновения ошибок памяти. Дальше зафиксируйте замеры в таблице и сравните конфигурации -ngl 99 / частичный offload / -ngl 0, чтобы понимать цену каждого компромисса.

FAQ

Сколько VRAM нужно, чтобы модель 8B работала быстро?

Веса 8B при 4 битах — примерно 4 ГБ по формуле из Шага 1, плюс KV-кэш и буферы. Итог зависит от -c и типа кэша, поэтому точное значение смотрите в nvidia-smi на своём ноутбуке после загрузки модели: строка offloaded M/M layers to GPU подтверждает, что всё поместилось.

Почему Ollama не использует видеокарту?

Почти всегда это драйвер или гибридная графика: процесс запускается на встроенном адаптере. Проверьте nvidia-smi при активной генерации — если процесса нет, обновите драйвер и принудительно назначьте дискретную GPU для ollama.exe в настройках графики Windows.

Что такое -ngl и какое значение ставить?

-ngl — число слоёв модели, отправляемых на GPU. Ставьте 99 (все слои), а при ошибке CUDA error: out of memory уменьшайте до тех пор, пока лог не покажет offloaded N/N layers to GPU. Компромисс — часть слоёв в RAM: работает, но медленнее.

Можно ли запустить ту же модель на телефоне?

Да, но ограничения другие — там решает не VRAM, а объём оперативной памяти и доступные приложения; готовые варианты разобраны в гайде для Android.

🤖 Кратко для ИИ

AI Release Knowledge Layer
Машинно-читаемое описание публикации · Версия 1.0

Статус: практическое руководство. Часть утверждений — заявления вендоров и проектов; проверяйте на своей среде.

1. Суть публикации

Пошаговая настройка локальной генерации текста на игровом ноутбуке: выбор модели под 8 ГБ видеопамяти, квантизация, offload в RAM и замер реальной скорости. Время выполнения: 40–60 минут (первый запуск и замер) Уровень сложности: Intermediate

Внутри: прямые ответы, ключевые факты, участники, связи, достоверность, неизвестное и источники.

Машинные данные публикации: Citation Map JSON · JSON-LD · Semantic Embeddings — отдельный этап.

Полный Knowledge Layer: разделы 2–8

2. Прямые ответы

Что это за материал?
Пошаговая настройка локальной генерации текста на игровом ноутбуке: выбор модели под 8 ГБ видеопамяти, квантизация, offload в RAM и замер реальной скорости. → подробнее (AR-GUIDE-KAKZAPUSTI-001)
Что понадобится?
ОС: Windows 11 (все команды ниже — PowerShell) или Linux; права администратора для установки драйвера и рантайма; Драйвер NVIDIA, поддерживающий RTX 5060 — если nvidia-smi его не видит, дальше идти бессмысленно; Ollama — рантайм, который сам скачивает модель и раскладывает слои по GPU/CPU; llama.cpp — сборка под CUDA,… → подробнее (AR-GUIDE-KAKZAPUSTI-003)
Как это сделать?
Шаг 1. Инвентаризация: сколько VRAM реально свободно → Шаг 2. Установка рантайма и запуск с контролем вытеснения слоёв → Шаг 3. Замер скорости и фиксация результата → подробнее (AR-GUIDE-KAKZAPUSTI-004)
Что может пойти не так?
Ошибка: CUDA error: out of memory или ggml_backend_cuda_buffer_type_alloc_buffer: allocating <N> MiB failed в логе llama.cpp → подробнее (AR-GUIDE-KAKZAPUSTI-006)

3. Ключевые факты

  1. Время выполнения: 40–60 минут (первый запуск и замер) — подтверждение; статус: заявление источника.
  2. Уровень сложности: Intermediate — подтверждение; статус: заявление источника.
  3. Понадобится: Windows 11 или Linux, драйвер NVIDIA с поддержкой RTX 5060 (версию сверьте с сайтом NVIDIA), Ollama актуальной версии с ollama.com, сборка llama.cpp под CUDA, PowerShell, ~30 ГБ свободного места на SSD — подтверждение; статус: заявление источника.
  4. Ключевой вопрос гайда: влезет ли модель целиком в VRAM — считаем бюджет до скачивания, а не после первой ошибки out of memory — подтверждение; статус: заявление источника.
  5. Критерий успеха: в логе видно offloaded N/N layers to GPU, а memory.used не дотягивает до memory.total — подтверждение; статус: заявление источника.
  6. ОС: Windows 11 (все команды ниже — PowerShell) или Linux; права администратора для установки драйвера и рантайма — подтверждение; статус: заявление источника.
  7. Драйвер NVIDIA, поддерживающий RTX 5060 — если nvidia-smi его не видит, дальше идти бессмысленно — подтверждение; статус: заявление источника.
  8. Ollama — рантайм, который сам скачивает модель и раскладывает слои по GPU/CPU — подтверждение; статус: заявление источника.

4. Участники и сущности

СущностьТипРоль в публикации
как запустить llm на rtx 5060продукт/модельупоминается в заголовке, TL;DR или разделах гайда
локальная нейросеть на ноутбуке настройкатема/инструментупоминается в заголовке, TL;DR или разделах гайда
сколько vram нужно для локальной моделитема/инструментупоминается в заголовке, TL;DR или разделах гайда
llama.cpp настройка на ноутбукетема/инструментупоминается в заголовке, TL;DR или разделах гайда
Windowsплатформа/технологияупоминается в заголовке, TL;DR или разделах гайда
Linuxплатформа/технологияупоминается в заголовке, TL;DR или разделах гайда
CUDAплатформа/технологияупоминается в заголовке, TL;DR или разделах гайда
NVIDIAкомпанияупоминается в заголовке, TL;DR или разделах гайда
RTX 5060продукт/модельупоминается в заголовке, TL;DR или разделах гайда
llama.cppтема/инструментупоминается в заголовке, TL;DR или разделах гайда

5. Связи и контекст

  • Гайд — описывает → Как запустить локальную LLM на ноутбуке с Ryzen 9 8940HX и RTX 5060: настройка, VRAM и скорость (AR-GUIDE-KAKZAPUSTI-001).
  • Гайд — содержит шаг → Шаг 1. Инвентаризация: сколько VRAM реально свободно (AR-GUIDE-KAKZAPUSTI-001).

6. Достоверность и происхождение информации

Подтверждено

В материале нет отдельного независимого подтверждения; ниже разделены заявления источников и редакционные выводы.

Заявление источника

  • Характеристики продуктов, версии, цены и лимиты — из описаний вендоров и материалов гайда.
  • Команды и шаги приведены как рекомендация, а не как гарантированный результат.

Анализ AI Release

  • Структура, сравнение и критерии выбора — редакционные.
  • Гайд не заменяет независимый аудит или юридическую консультацию.

7. Что пока неизвестно

  • Ошибка: CUDA error: out of memory или ggml_backend_cuda_buffer_type_alloc_buffer: allocating <N> MiB failed в логе llama.cpp
  • Причина: веса + KV-кэш + буферы больше свободной VRAM. Часто виноват завышенный -c: контекст 8192 вместо 4096 почти удваивает кэш.
  • Решение: понизить -ngl (например, с 99 до 24) и/или -c до 2048–4096, включить -fa, затем поднимать -ngl обратно, пока не появится ошибка — шаг назад и есть рабочее значение. Для Ollama те же меры: OLLAMA_KV_CACHE_TYPE=q8_0 и модель меньшего размера.
  • Ошибка: в логе сервера no compatible GPUs were discovered, в логе модели offloaded 0/<M> layers to GPU

8. Источники

ИсточникТипРоль
Внешние ссылки в материале не указаны——

Как цитировать: AI Release. Как запустить локальную LLM на ноутбуке с Ryzen 9 8940HX и RTX 5060: настройка, VRAM и скорость. ai-release.org.