# Как запустить локальную LLM на ноутбуке с Ryzen 9 8940HX и RTX 5060: настройка, VRAM и скорость

> AI Release · @ai_release1 · https://ai-release.org/guides/kak-zapustit-lokalnuyu-llm-na-noutbuke-s-ryzen-9-8940hx.html

## TL;DR

- Время выполнения: 40–60 минут (первый запуск и замер)
- Уровень сложности: Intermediate
- Понадобится: Windows 11 или Linux, драйвер NVIDIA с поддержкой RTX 5060 (версию сверьте с сайтом NVIDIA), Ollama актуальной версии с ollama.com, сборка llama.cpp под CUDA, PowerShell, ~30 ГБ свободного места на SSD
- Ключевой вопрос гайда: влезет ли модель **целиком** в VRAM — считаем бюджет до скачивания, а не после первой ошибки `out of memory`
- Критерий успеха: в логе видно `offloaded N/N layers to GPU`, а `memory.used` не дотягивает до `memory.total`

## Требования и подготовка
![Иллюстрация к разделу «Требования и подготовка»](https://ai-release.org/guides/img/kak-zapustit-lokalnuyu-llm-na-noutbuke-s-ryzen-9-8940hx-ru-1.jpg?v=1794926275)


Типовые инструкции начинаются с `ollama run` и заканчиваются «работает». На ноутбуке с мобильной видеокартой этого мало: узкое место — не CPU и не модель, а объём VRAM (видеопамять GPU) и то, сколько слоёв модели в неё реально поместится. Поэтому сначала считаем бюджет памяти, потом качаем гигабайты.

- ОС: Windows 11 (все команды ниже — PowerShell) или Linux; права администратора для установки драйвера и рантайма
- Драйвер NVIDIA, поддерживающий RTX 5060 — если `nvidia-smi` его не видит, дальше идти бессмысленно
- Ollama — рантайм, который сам скачивает модель и раскладывает слои по GPU/CPU
- llama.cpp — сборка под CUDA, нужна для ручного управления числом слоёв на GPU (`-ngl`)
- Свободное место: 30 ГБ+ на SSD (модель 8B в 4-битном квантовании — единицы гигабайт, но старые версии моделей и кэш тоже занимают место)
- Файл `budget.md` в рабочей папке — туда пишем замеры

Чек-лист перед стартом:

- [ ] `nvidia-smi` показывает карту и объём памяти
- [ ] Драйвер обновлён, перезагрузка выполнена
- [ ] В рабочей папке создан `budget.md`
- [ ] Свободно ≥ 30 ГБ на диске

**Пример:** `Get-PSDrive C | Select-Object Used,Free` — покажет занято/свободно в байтах; переведите в гигабайты, прежде чем качать модель.

**Почему это работает:** квантование (сжатие весов модели, например 4 бита на параметр вместо 16) уменьшает размер в разы, но не бесконечно — и именно от него зависит, влезет модель в VRAM или нет.

Если задача — не ноутбук, а ускоритель другого класса, логика меняется: например, для NPU-платы нужен отдельный стек драйверов — см. [Как запустить Huawei Atlas 300I Duo в Linux](https://ai-release.org/guides/kak-zapustit-huawei-atlas-300i-duo-v-linux.html?utm_source=tg&utm_medium=channel&utm_campaign=guide_inline&utm_content=guide_to_guide).

## Шаг 1. Инвентаризация: сколько VRAM реально свободно

**Что сделать:** снять три числа — общий объём VRAM, занятый объём в простое и число физических ядер CPU. Записать в `budget.md`.

**Зачем:** «8 ГБ на борту» ≠ «8 ГБ доступно модели». Часть памяти занимает рабочий стол, браузер и драйвер. Разница между `memory.total` и `memory.used` — ваш реальный потолок.

**Как проверить:** значения из команд совпадают с тем, что вы записали в файл.

```powershell
nvidia-smi --query-gpu=name,memory.total,memory.used,driver_version --format=csv
nvidia-smi
```

**Пример ожидаемого вывода:**

```text
name, memory.total [MiB], memory.used [MiB], driver_version
NVIDIA GeForce RTX 5060 Laptop GPU, <NNNN> MiB, <NNN> MiB, <версия>
```

Числа в угловых скобках у каждого свои — их и переносите в бюджет. Второй вызов `nvidia-smi` покажет таблицу процессов: там видно, кто уже держит память (браузер, Discord, другой рантайм).

```powershell
Get-CimInstance Win32_Processor | Select-Object Name,NumberOfCores,NumberOfLogicalProcessors
```

**Пример:** `NumberOfCores : 16`, `NumberOfLogicalProcessors : 32` — для llama.cpp берём именно `NumberOfCores` (физические ядра), а не логические: потоки на HT/SMT обычно замедляют генерацию.

Дальше — арифметика бюджета:

```text
свободно_под_модель = memory.total − memory.used − запас_на_контекст
пример: <NNNN> − <NNN> − <1500> ≈ <остаток> MiB
```

Запас на контекст — это KV-кэш (память под историю диалога; растёт линейно с длиной контекста `-c`), плюс буферы вычислений. Оценка размера весов считается по формуле:

```text
вес ≈ параметры_млрд × биты_квантования / 8  (ГБ)
пример: 8B при 4 битах ≈ 8 × 4 / 8 ≈ 4 ГБ
```

**Важно:** формула даёт только вес, без кэша и накладных расходов — фактическое потребление всегда выше расчётного, поэтому и нужен запас.

| Что фиксируем | Команда | Куда в `budget.md` |
|---|---|---|
| Объём VRAM | `nvidia-smi --query-gpu=memory.total` | `VRAM_total` |
| Занято в простое | `nvidia-smi --query-gpu=memory.used` | `VRAM_idle` |
| Физические ядра | `Get-CimInstance Win32_Processor` | `threads` |
| Свободно под модель | расчёт выше | `VRAM_free` |

## Шаг 2. Установка рантайма и запуск с контролем вытеснения слоёв
![Иллюстрация к разделу «Шаг 2. Установка рантайма и запуск с контролем вытеснения слоёв»](https://ai-release.org/guides/img/kak-zapustit-lokalnuyu-llm-na-noutbuke-s-ryzen-9-8940hx-ru-2.jpg?v=1794926281)


**Что сделать:** поставить Ollama для быстрого старта, затем настроить llama.cpp для точного контроля раскладки слоёв.

**Зачем:** Ollama удобна, но прячет параметр `-ngl` (number of GPU layers — сколько слоёв модели отдать на видеокарту). llama.cpp показывает его явно, и именно там видно, влезла модель целиком или часть ушла в системную RAM.

Установка Ollama (Windows-инсталлятор с ollama.com) и настройка переменных окружения в PowerShell:

```powershell
$env:OLLAMA_FLASH_ATTENTION="1"
$env:OLLAMA_KV_CACHE_TYPE="q8_0"
$env:OLLAMA_NUM_PARALLEL="1"
ollama serve
```

**Почему это работает:** `OLLAMA_KV_CACHE_TYPE=q8_0` хранит KV-кэш в 8-битном виде вместо 16-битного — примерно вдвое меньше памяти под контекст; `OLLAMA_NUM_PARALLEL=1` убирает резерв под параллельные запросы, который на ноутбуке не нужен. Набор поддерживаемых переменных зависит от версии — сверьтесь с документацией Ollama перед запуском.

**Как проверить:** во втором окне PowerShell запросить состояние сервера и убедиться, что он отвечает:

```powershell
ollama list
```

**Пример:** команда печатает таблицу `NAME  ID  SIZE  MODIFIED`; пустая таблица — сервер работает, моделей ещё нет.

Скачивание модели под ваш бюджет из Шага 1:

```powershell
ollama pull <имя-модели>:<тег>
```

**Пример:** если `VRAM_free` после расчёта — около 5 ГБ, берите модель класса 8B в 4-битном квантовании; теги квантования смотрите на странице конкретной модели (сверьтесь с документацией, набор тегов у каждой модели свой).

Точный контроль — llama.cpp. Флаг `-ngl 99` означает «все слои на GPU» (99 — заведомо больше числа слоёв):

```powershell
.\llama-cli.exe -m .\models\<модель>.gguf -ngl 99 -c 4096 -t 16 -fa
```

- `-m` — путь к GGUF-файлу (формат хранения квантованных весов)
- `-ngl 99` — все слои в VRAM; при ошибке памяти уменьшайте по одному-два
- `-c 4096` — длина контекста; каждое удвоение контекста увеличивает KV-кэш
- `-t 16` — потоки CPU, ставим по числу физических ядер
- `-fa` — flash attention, экономит память на длинном контексте; в части сборок флаг называется `--flash-attn` — проверьте `llama-cli --help`

**Как проверить:** в логе загрузки найти строку `llm_load_tensors: offloaded N/M layers to GPU`. Если N = M — модель целиком на видеокарте.

## Шаг 3. Замер скорости и фиксация результата
![Иллюстрация к разделу «Шаг 3. Замер скорости и фиксация результата»](https://ai-release.org/guides/img/kak-zapustit-lokalnuyu-llm-na-noutbuke-s-ryzen-9-8940hx-ru-3.jpg?v=1794926287)


**Что сделать:** прогнать одну и ту же модель в трёх конфигурациях и записать скорость генерации в токенах/с (токен — единица текста, примерно часть слова).

**Зачем:** «влезло» и «быстро» — разные вещи. Часть слоёв в RAM даёт работу, но скорость падает в разы; без замера это не видно.

```powershell
ollama run <имя-модели>:<тег> --verbose
```

**Пример:** после ответа на запрос вроде `Напиши список из 5 шагов проверки драйвера` Ollama печатает статистику:

```text
eval count: <N> token(s)
eval duration: <T>
eval rate: <X> tokens/s
```

Во втором окне параллельно снимайте пик памяти:

```powershell
nvidia-smi --query-gpu=memory.used --format=csv -l 1
```

**Как проверить:** три конфигурации llama.cpp дают три разных числа — заполните таблицу:

| Конфигурация | Флаг | `offloaded` в логе | `memory.used` пик, MiB | tokens/s |
|---|---|---|---|---|
| Всё на GPU | `-ngl 99` | N/M = M/M | | |
| Часть на CPU | `-ngl <половина>` | N/M < M/M | | |
| Только CPU | `-ngl 0` | 0/M | | |

Признаки успеха: в логе нет `CUDA error`, `memory.used` не доходит до `memory.total`, строка `eval rate` присутствует. Записанные в `budget.md` цифры — ваша база для сравнения: после смены квантования или контекста вы увидите разницу в числах, а не «в ощущениях».

Если позже понадобится запускать те же модели вне ноутбука, готовые приложения и ограничения мобильного железа разобраны в [гайде по запуску ИИ-модели локально на Android](https://ai-release.org/guides/kak-zapustit-ii-model-lokalno-na-android-prilozheniya-i.html?utm_source=tg&utm_medium=channel&utm_campaign=guide_inline&utm_content=guide_to_guide).

## Возможные проблемы и решения

**Проблема. Модель не помещается в VRAM при `-ngl 99`**

- Ошибка: `CUDA error: out of memory` или `ggml_backend_cuda_buffer_type_alloc_buffer: allocating <N> MiB failed` в логе llama.cpp
- Причина: веса + KV-кэш + буферы больше свободной VRAM. Часто виноват завышенный `-c`: контекст 8192 вместо 4096 почти удваивает кэш.
- Решение: понизить `-ngl` (например, с 99 до 24) и/или `-c` до 2048–4096, включить `-fa`, затем поднимать `-ngl` обратно, пока не появится ошибка — шаг назад и есть рабочее значение. Для Ollama те же меры: `OLLAMA_KV_CACHE_TYPE=q8_0` и модель меньшего размера.

**Проблема. Ollama работает, но GPU простаивает**

- Ошибка: в логе сервера `no compatible GPUs were discovered`, в логе модели `offloaded 0/<M> layers to GPU`
- Причина: устаревший драйвер, либо ноутбук отдаёт процесс встроенной графике при гибридной схеме.
- Решение: обновить драйвер NVIDIA и перезагрузиться; в «Параметры Windows → Система → Дисплей → Графика» добавить `ollama.exe` (и `llama-cli.exe`) в список приложений и выбрать для них дискретную GPU; в NVIDIA Control Panel — «Предпочитаемая графическая система: высокопроизводительный процессор NVIDIA». Проверка: `nvidia-smi` во время работы показывает процесс в списке.

**Проблема. Медленная генерация**

- Ошибка: в логе `llm_load_tensors: offloaded 21/33 layers to GPU` — часть слоёв в системной RAM
- Причина: модель не влезла целиком, и каждый токен проходит через PCIe между RAM и GPU.
- Решение: взять квантование посильнее (4 бита вместо 8) или модель меньшего класса, чтобы получить `offloaded M/M`. Проверка — повторный замер `eval rate`: он должен вырасти.

## Резюме и следующие шаги

Рабочая схема — сначала посчитать бюджет VRAM и ядер, потом подобрать квантование, и только затем запускать с `-ngl 99`, уменьшая значение до исчезновения ошибок памяти. Дальше зафиксируйте замеры в таблице и сравните конфигурации `-ngl 99` / частичный offload / `-ngl 0`, чтобы понимать цену каждого компромисса.

## FAQ

**Сколько VRAM нужно, чтобы модель 8B работала быстро?**
Веса 8B при 4 битах — примерно 4 ГБ по формуле из Шага 1, плюс KV-кэш и буферы. Итог зависит от `-c` и типа кэша, поэтому точное значение смотрите в `nvidia-smi` на своём ноутбуке после загрузки модели: строка `offloaded M/M layers to GPU` подтверждает, что всё поместилось.

**Почему Ollama не использует видеокарту?**
Почти всегда это драйвер или гибридная графика: процесс запускается на встроенном адаптере. Проверьте `nvidia-smi` при активной генерации — если процесса нет, обновите драйвер и принудительно назначьте дискретную GPU для `ollama.exe` в настройках графики Windows.

**Что такое `-ngl` и какое значение ставить?**
`-ngl` — число слоёв модели, отправляемых на GPU. Ставьте 99 (все слои), а при ошибке `CUDA error: out of memory` уменьшайте до тех пор, пока лог не покажет `offloaded N/N layers to GPU`. Компромисс — часть слоёв в RAM: работает, но медленнее.

**Можно ли запустить ту же модель на телефоне?**
Да, но ограничения другие — там решает не VRAM, а объём оперативной памяти и доступные приложения; готовые варианты разобраны в [гайде для Android](https://ai-release.org/guides/kak-zapustit-ii-model-lokalno-na-android-prilozheniya-i.html?utm_source=tg&utm_medium=channel&utm_campaign=guide_inline&utm_content=guide_to_guide).
