out of memoryoffloaded N/N layers to GPU, а memory.used не дотягивает до memory.total
Типовые инструкции начинаются с ollama run и заканчиваются «работает». На ноутбуке с мобильной видеокартой этого мало: узкое место — не CPU и не модель, а объём VRAM (видеопамять GPU) и то, сколько слоёв модели в неё реально поместится. Поэтому сначала считаем бюджет памяти, потом качаем гигабайты.
nvidia-smi его не видит, дальше идти бессмысленно-ngl)budget.md в рабочей папке — туда пишем замерыЧек-лист перед стартом:
nvidia-smi показывает карту и объём памятиbudget.mdПример: Get-PSDrive C | Select-Object Used,Free — покажет занято/свободно в байтах; переведите в гигабайты, прежде чем качать модель.
Почему это работает: квантование (сжатие весов модели, например 4 бита на параметр вместо 16) уменьшает размер в разы, но не бесконечно — и именно от него зависит, влезет модель в VRAM или нет.
Если задача — не ноутбук, а ускоритель другого класса, логика меняется: например, для NPU-платы нужен отдельный стек драйверов — см. Как запустить Huawei Atlas 300I Duo в Linux.
Что сделать: снять три числа — общий объём VRAM, занятый объём в простое и число физических ядер CPU. Записать в budget.md.
Зачем: «8 ГБ на борту» ≠ «8 ГБ доступно модели». Часть памяти занимает рабочий стол, браузер и драйвер. Разница между memory.total и memory.used — ваш реальный потолок.
Как проверить: значения из команд совпадают с тем, что вы записали в файл.
nvidia-smi --query-gpu=name,memory.total,memory.used,driver_version --format=csv
nvidia-smi
Пример ожидаемого вывода:
name, memory.total [MiB], memory.used [MiB], driver_version
NVIDIA GeForce RTX 5060 Laptop GPU, <NNNN> MiB, <NNN> MiB, <версия>
Числа в угловых скобках у каждого свои — их и переносите в бюджет. Второй вызов nvidia-smi покажет таблицу процессов: там видно, кто уже держит память (браузер, Discord, другой рантайм).
Get-CimInstance Win32_Processor | Select-Object Name,NumberOfCores,NumberOfLogicalProcessors
Пример: NumberOfCores : 16, NumberOfLogicalProcessors : 32 — для llama.cpp берём именно NumberOfCores (физические ядра), а не логические: потоки на HT/SMT обычно замедляют генерацию.
Дальше — арифметика бюджета:
свободно_под_модель = memory.total − memory.used − запас_на_контекст
пример: <NNNN> − <NNN> − <1500> ≈ <остаток> MiB
Запас на контекст — это KV-кэш (память под историю диалога; растёт линейно с длиной контекста -c), плюс буферы вычислений. Оценка размера весов считается по формуле:
вес ≈ параметры_млрд × биты_квантования / 8 (ГБ)
пример: 8B при 4 битах ≈ 8 × 4 / 8 ≈ 4 ГБ
Важно: формула даёт только вес, без кэша и накладных расходов — фактическое потребление всегда выше расчётного, поэтому и нужен запас.
| Что фиксируем | Команда | Куда в `budget.md` |
|---|---|---|
| Объём VRAM | `nvidia-smi --query-gpu=memory.total` | `VRAM_total` |
| Занято в простое | `nvidia-smi --query-gpu=memory.used` | `VRAM_idle` |
| Физические ядра | `Get-CimInstance Win32_Processor` | `threads` |
| Свободно под модель | расчёт выше | `VRAM_free` |

Что сделать: поставить Ollama для быстрого старта, затем настроить llama.cpp для точного контроля раскладки слоёв.
Зачем: Ollama удобна, но прячет параметр -ngl (number of GPU layers — сколько слоёв модели отдать на видеокарту). llama.cpp показывает его явно, и именно там видно, влезла модель целиком или часть ушла в системную RAM.
Установка Ollama (Windows-инсталлятор с ollama.com) и настройка переменных окружения в PowerShell:
$env:OLLAMA_FLASH_ATTENTION="1"
$env:OLLAMA_KV_CACHE_TYPE="q8_0"
$env:OLLAMA_NUM_PARALLEL="1"
ollama serve
Почему это работает: OLLAMA_KV_CACHE_TYPE=q8_0 хранит KV-кэш в 8-битном виде вместо 16-битного — примерно вдвое меньше памяти под контекст; OLLAMA_NUM_PARALLEL=1 убирает резерв под параллельные запросы, который на ноутбуке не нужен. Набор поддерживаемых переменных зависит от версии — сверьтесь с документацией Ollama перед запуском.
Как проверить: во втором окне PowerShell запросить состояние сервера и убедиться, что он отвечает:
ollama list
Пример: команда печатает таблицу NAME ID SIZE MODIFIED; пустая таблица — сервер работает, моделей ещё нет.
Скачивание модели под ваш бюджет из Шага 1:
ollama pull <имя-модели>:<тег>
Пример: если VRAM_free после расчёта — около 5 ГБ, берите модель класса 8B в 4-битном квантовании; теги квантования смотрите на странице конкретной модели (сверьтесь с документацией, набор тегов у каждой модели свой).
Точный контроль — llama.cpp. Флаг -ngl 99 означает «все слои на GPU» (99 — заведомо больше числа слоёв):
.\llama-cli.exe -m .\models\<модель>.gguf -ngl 99 -c 4096 -t 16 -fa
-m — путь к GGUF-файлу (формат хранения квантованных весов)-ngl 99 — все слои в VRAM; при ошибке памяти уменьшайте по одному-два-c 4096 — длина контекста; каждое удвоение контекста увеличивает KV-кэш-t 16 — потоки CPU, ставим по числу физических ядер-fa — flash attention, экономит память на длинном контексте; в части сборок флаг называется --flash-attn — проверьте llama-cli --helpКак проверить: в логе загрузки найти строку llm_load_tensors: offloaded N/M layers to GPU. Если N = M — модель целиком на видеокарте.

Что сделать: прогнать одну и ту же модель в трёх конфигурациях и записать скорость генерации в токенах/с (токен — единица текста, примерно часть слова).
Зачем: «влезло» и «быстро» — разные вещи. Часть слоёв в RAM даёт работу, но скорость падает в разы; без замера это не видно.
ollama run <имя-модели>:<тег> --verbose
Пример: после ответа на запрос вроде Напиши список из 5 шагов проверки драйвера Ollama печатает статистику:
eval count: <N> token(s)
eval duration: <T>
eval rate: <X> tokens/s
Во втором окне параллельно снимайте пик памяти:
nvidia-smi --query-gpu=memory.used --format=csv -l 1
Как проверить: три конфигурации llama.cpp дают три разных числа — заполните таблицу:
| Конфигурация | Флаг | `offloaded` в логе | `memory.used` пик, MiB | tokens/s |
|---|---|---|---|---|
| Всё на GPU | `-ngl 99` | N/M = M/M | ||
| Часть на CPU | `-ngl <половина>` | N/M < M/M | ||
| Только CPU | `-ngl 0` | 0/M |
Признаки успеха: в логе нет CUDA error, memory.used не доходит до memory.total, строка eval rate присутствует. Записанные в budget.md цифры — ваша база для сравнения: после смены квантования или контекста вы увидите разницу в числах, а не «в ощущениях».
Если позже понадобится запускать те же модели вне ноутбука, готовые приложения и ограничения мобильного железа разобраны в гайде по запуску ИИ-модели локально на Android.
Проблема. Модель не помещается в VRAM при -ngl 99
CUDA error: out of memory или ggml_backend_cuda_buffer_type_alloc_buffer: allocating <N> MiB failed в логе llama.cpp-c: контекст 8192 вместо 4096 почти удваивает кэш.-ngl (например, с 99 до 24) и/или -c до 2048–4096, включить -fa, затем поднимать -ngl обратно, пока не появится ошибка — шаг назад и есть рабочее значение. Для Ollama те же меры: OLLAMA_KV_CACHE_TYPE=q8_0 и модель меньшего размера.Проблема. Ollama работает, но GPU простаивает
no compatible GPUs were discovered, в логе модели offloaded 0/<M> layers to GPUollama.exe (и llama-cli.exe) в список приложений и выбрать для них дискретную GPU; в NVIDIA Control Panel — «Предпочитаемая графическая система: высокопроизводительный процессор NVIDIA». Проверка: nvidia-smi во время работы показывает процесс в списке.Проблема. Медленная генерация
llm_load_tensors: offloaded 21/33 layers to GPU — часть слоёв в системной RAMoffloaded M/M. Проверка — повторный замер eval rate: он должен вырасти.Рабочая схема — сначала посчитать бюджет VRAM и ядер, потом подобрать квантование, и только затем запускать с -ngl 99, уменьшая значение до исчезновения ошибок памяти. Дальше зафиксируйте замеры в таблице и сравните конфигурации -ngl 99 / частичный offload / -ngl 0, чтобы понимать цену каждого компромисса.
Сколько VRAM нужно, чтобы модель 8B работала быстро?
Веса 8B при 4 битах — примерно 4 ГБ по формуле из Шага 1, плюс KV-кэш и буферы. Итог зависит от -c и типа кэша, поэтому точное значение смотрите в nvidia-smi на своём ноутбуке после загрузки модели: строка offloaded M/M layers to GPU подтверждает, что всё поместилось.
Почему Ollama не использует видеокарту?
Почти всегда это драйвер или гибридная графика: процесс запускается на встроенном адаптере. Проверьте nvidia-smi при активной генерации — если процесса нет, обновите драйвер и принудительно назначьте дискретную GPU для ollama.exe в настройках графики Windows.
Что такое -ngl и какое значение ставить?
-ngl — число слоёв модели, отправляемых на GPU. Ставьте 99 (все слои), а при ошибке CUDA error: out of memory уменьшайте до тех пор, пока лог не покажет offloaded N/N layers to GPU. Компромисс — часть слоёв в RAM: работает, но медленнее.
Можно ли запустить ту же модель на телефоне?
Да, но ограничения другие — там решает не VRAM, а объём оперативной памяти и доступные приложения; готовые варианты разобраны в гайде для Android.
Статус: практическое руководство. Часть утверждений — заявления вендоров и проектов; проверяйте на своей среде.
Пошаговая настройка локальной генерации текста на игровом ноутбуке: выбор модели под 8 ГБ видеопамяти, квантизация, offload в RAM и замер реальной скорости. Время выполнения: 40–60 минут (первый запуск и замер) Уровень сложности: Intermediate
Машинные данные публикации: Citation Map JSON · JSON-LD · Semantic Embeddings — отдельный этап.
| Сущность | Тип | Роль в публикации |
|---|---|---|
| как запустить llm на rtx 5060 | продукт/модель | упоминается в заголовке, TL;DR или разделах гайда |
| локальная нейросеть на ноутбуке настройка | тема/инструмент | упоминается в заголовке, TL;DR или разделах гайда |
| сколько vram нужно для локальной модели | тема/инструмент | упоминается в заголовке, TL;DR или разделах гайда |
| llama.cpp настройка на ноутбуке | тема/инструмент | упоминается в заголовке, TL;DR или разделах гайда |
| Windows | платформа/технология | упоминается в заголовке, TL;DR или разделах гайда |
| Linux | платформа/технология | упоминается в заголовке, TL;DR или разделах гайда |
| CUDA | платформа/технология | упоминается в заголовке, TL;DR или разделах гайда |
| NVIDIA | компания | упоминается в заголовке, TL;DR или разделах гайда |
| RTX 5060 | продукт/модель | упоминается в заголовке, TL;DR или разделах гайда |
| llama.cpp | тема/инструмент | упоминается в заголовке, TL;DR или разделах гайда |
В материале нет отдельного независимого подтверждения; ниже разделены заявления источников и редакционные выводы.
| Источник | Тип | Роль |
|---|---|---|
| Внешние ссылки в материале не указаны | — | — |
Как цитировать: AI Release. Как запустить локальную LLM на ноутбуке с Ryzen 9 8940HX и RTX 5060: настройка, VRAM и скорость. ai-release.org.