← Все гайды AI Release
EN Подписаться на @ai_release1

Как ускорить локальную LLM: спекулятивное декодирование, батчинг и кэш KV

Обновлено: 17.11.2026 · AI Release · @ai_release1
Как ускорить локальную LLM: спекулятивное декодирование, батчинг и кэш KV

TL;DR

Требования и подготовка

Иллюстрация к разделу «Требования и подготовка»
Иллюстрация к разделу «Требования и подготовка»

Три техники, которые разбираем, и их «цена»:

ТехникаЧто ускоряетЧем платитеГде НЕ работает
Спекулятивное декодированиегенерацию токенов при `--parallel 1`VRAM под draft-модель, падение при низком acceptanceпри параллельных слотах и при высокой температуре сэмплинга
Батчинг (параллельные слоты / continuous batching)суммарную пропускную способность при многих запросахконтекст делится между слотамина одиночном запросе выигрыша нет
Квантованный KV-кэш (`q8_0`)экономию VRAM под кэшнезначительную потерю качествабез Flash Attention квантование V-кэша не включается

Терминология в одну строку: KV-кэш — сохранённые состояния внимания для уже прочитанных токенов, чтобы не пересчитывать промпт заново; спекулятивное декодирование — маленькая модель предлагает несколько токенов, большая их проверяет пачкой; TTFT — время до первого токена; батчинг — обработка нескольких запросов одновременно.

Чек-лист перед стартом:

Подключение локального сервера к клиентам (Claude Code через OpenAI-совместимый API) разобрано отдельно: Как подключить локальную модель к Claude Code: llama-server, OpenAI-совместимый API и лаунчер.

Шаг 1. Базовая линия: замерьте tokens/s и TTFT до любых оптимизаций

Что сделать: соберите llama.cpp с поддержкой CUDA и снимите эталонный замер до включения спекуляции и батчинга.

git clone https://github.com/ggml-org/llama.cpp
cd llama.cpp
cmake -B build -DGGML_CUDA=ON
cmake --build build --config Release -j
ls build/bin | grep -E 'llama-bench|llama-server'

Зачем: без цифры «до» вы не отличите ускорение от шума. Один и тот же прогон потом повторяется с теми же -p/-n, иначе сравнение бессмысленно.

Пример: замер фиксированного профиля — 512 токенов промпта, 128 токенов генерации, все слои на GPU:

./build/bin/llama-bench -m models/<ваша-модель>.gguf -p 512 -n 128 -ngl 99

Вывод — таблица с колонками model | size | params | backend | ngl | test | t/s. Строки pp512 (обработка промпта) и tg128 (генерация) дают два ваших опорных числа. Конкретные значения зависят от GPU — впишите их в свою таблицу замеров, эталонных «правильных» цифр не существует.

Второй замер — через сервер, чтобы видеть то же, что увидит клиент:

./build/bin/llama-server -m models/<ваша-модель>.gguf -ngl 99 -c 8192 --port 8080 &

curl -s http://127.0.0.1:8080/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model":"local","messages":[{"role":"user","content":"Перечисли 5 фактов о KV-кэше."}],"max_tokens":256}' \
  | jq '.timings'

Как проверить: в ответе есть блок timings с полями prompt_per_second и predicted_per_second. Запишите оба числа — это ваша базовая линия. Если jq не установлен, уберите его и смотрите сырой JSON.

Почему это работает: llama-bench гоняет синтетический профиль без сети и клиента, поэтому его числа стабильнее, чем замер через HTTP, где добавляется сетевая и JSON-разметка.

Шаг 2. Включите три рычага: спекулятивное декодирование, батчинг слотов и квантованный KV-кэш

Иллюстрация к разделу «Шаг 2. Включите три рычага: спекулятивное декодирование, батчинг слотов и квантованный KV-кэш»
Иллюстрация к разделу «Шаг 2. Включите три рычага: спекулятивное декодирование, батчинг слотов и квантованный KV-кэш»

Что сделать: запустите сервер с draft-моделью, квантованным кэшем и Flash Attention, затем отдельным прогоном — с параллельными слотами.

Спекуляция + квантованный KV-кэш (одиночные запросы):

./build/bin/llama-server \
  -m models/<ваша-модель>.gguf \
  -md models/<ваша-draft-модель>.gguf \
  --draft-max 8 --draft-min 4 --draft-p-min 0.7 \
  -ngl 99 --gpu-layers-draft 99 \
  -fa --cache-type-k q8_0 --cache-type-v q8_0 \
  -c 8192 --port 8080

Батчинг (много одновременных запросов):

./build/bin/llama-server \
  -m models/<ваша-модель>.gguf \
  -ngl 99 -fa --cache-type-k q8_0 --cache-type-v q8_0 \
  -c 32768 --parallel 4 --cont-batching \
  --port 8080

Зачем: каждая опция бьёт в своё узкое место.

Важно: -c — это общий контекст. При --parallel 4 и -c 32768 каждому слоту достанется около 8192 токенов. Хотите по 16k на слот — ставьте -c 65536, если хватает VRAM.

Для серверного сценария с высоким RPS альтернатива — vLLM; там те же идеи называются --max-num-seqs, --max-model-len, --gpu-memory-utilization, --enable-prefix-caching:

vllm serve <ваша-модель> \
  --max-model-len 8192 \
  --max-num-seqs 8 \
  --gpu-memory-utilization 0.90 \
  --enable-prefix-caching

--enable-prefix-caching переиспользует KV-кэш для одинаковых начал промпта (системный промпт, инструкции) — это прямой аналог «кэша KV» на уровне запросов.

Пример: как выглядит проверка, что draft-модель действительно подключилась — сервер при старте печатает загрузку двух моделей и строку о спекулятивном декодировании с параметрами draft_max/draft_min. Если в логе только одна модель — флаг не распознан или путь неверный.

Настройка VRAM на ноутбуках с ограниченной видеопамятью имеет свою специфику (сколько слоёв реально влезает, что уходит в RAM): Как запустить локальную LLM на ноутбуке с Ryzen 9 8940HX и RTX 5060: настройка, VRAM и скорость.

Как проверить: за один прогон сервера квантование и Flash Attention подтверждаются отсутствием ошибки аллокации и ростом доступной VRAM:

nvidia-smi --query-gpu=memory.used,memory.total --format=csv
curl -s http://127.0.0.1:8080/health

Ожидаемо: /health возвращает {"status":"ok"}, а memory.used после старта ниже, чем была при том же -c без --cache-type-k/v. Точные имена флагов в вашей сборке сверьте с llama-server --help — набор опций меняется между версиями.

Шаг 3. Проверка результата: A/B-замер и приёмка

Иллюстрация к разделу «Шаг 3. Проверка результата: A/B-замер и приёмка»
Иллюстрация к разделу «Шаг 3. Проверка результата: A/B-замер и приёмка»

Что сделать: повторите замер из Шага 1 на новой конфигурации и сравните три метрики: генерация (tokens/s), обработка промпта (tokens/s) и TTFT.

for i in 1 2 3; do
  curl -s -o /dev/null -w "ttft_total=%{time_total}\n" \
    http://127.0.0.1:8080/v1/chat/completions \
    -H "Content-Type: application/json" \
    -d '{"model":"local","messages":[{"role":"user","content":"Напиши 200 слов про инференс LLM."}],"max_tokens":256}'
done

./build/bin/llama-bench -m models/<ваша-модель>.gguf -p 512 -n 128 -ngl 99

Для батчинга нужен параллельный прогон — иначе вы измеряете не то:

for i in $(seq 1 4); do
  curl -s http://127.0.0.1:8080/v1/chat/completions \
    -H "Content-Type: application/json" \
    -d '{"model":"local","messages":[{"role":"user","content":"Кратко: что такое continuous batching?"}],"max_tokens":128}' &
done; wait

Зачем: суммарная пропускная способность при батчинге и скорость одиночного запроса — разные метрики. Оптимизация под RPS может ухудшить latency одного пользователя, и наоборот.

Как проверить: успех фиксируется по таблице «до/после», а не на глаз:

Если хотя бы один пункт не выполнен — откатывайте по одному флагу за прогон: сначала --cache-type-k/v, потом --parallel, потом спекуляцию. Так видно, какой рычаг дал отрицательный эффект.

Почему это работает: спекуляция ускоряет только ту часть, где целевая модель «соглашается» с draft; если доля принятых токенов мала, вы платите за лишние проходы. Именно поэтому сравнение делается на ваших реальных промптах, а не на синтетике.

Возможные проблемы и решения

Проблема. Сервер падает при старте после включения --parallel или увеличения -c.

./build/bin/llama-server -m models/<ваша-модель>.gguf -ngl 99 -fa \
  --cache-type-k q8_0 --cache-type-v q8_0 -c 16384 --parallel 4 --port 8080

Проверка: сервер доходит до строки listening on http://127.0.0.1:8080.

Проблема. vLLM не стартует на выбранной длине контекста.

vllm serve <ваша-модель> --max-model-len 16384 --gpu-memory-utilization 0.90

Проблема. Запрос через API падает, хотя одиночный llama-bench работает.

./build/bin/llama-server -m models/<ваша-модель>.gguf -ngl 99 -c 32768 --parallel 4

Отдельный случай: генерация стала медленнее после включения -md. Это не ошибка, а низкая доля принятых draft-токенов — чаще всего из-за draft-модели из другого семейства или высокой температуры сэмплинга. Решение: взять draft того же семейства и снизить --draft-max.

Резюме и следующие шаги

Снимите базовую линию, включайте рычаги по одному и принимайте результат только по таблице «до/после» на своих промптах. Дальше имеет смысл сравнить бэкенды инференса на одной модели — например, по инструкции Как ускорить DeepSeek с помощью DeepInfer: установка и настройка инференса, а при выносе в кластер — Как развернуть локальную ИИ-модель на Kubernetes: пошаговое руководство.

FAQ

Что такое спекулятивное декодирование простыми словами?

Маленькая draft-модель предлагает несколько следующих токенов, а большая проверяет их за один проход. Если предложения совпали с тем, что выдала бы большая модель, они принимаются пачкой — генерация ускоряется.

Почему спекулятивное декодирование не ускоряет работу при батчинге?

В llama.cpp спекуляция рассчитана на один слот: при --parallel больше 1 несколько запросов уже заполняют вычислительные блоки, и «пачка» от draft перестаёт экономить проходы. Точное поведение вашей версии сверьте с выводом сервера при старте — там печатаются активные параметры.

Можно ли квантовать KV-кэш без Flash Attention?

Квантование V-кэша (--cache-type-v) требует включённого Flash Attention (-fa). Без него сборка либо откажется принимать флаг, либо стартует без квантования — проверяйте список активных опций в логе запуска.

Как понять, что батчинг вообще дал эффект?

Замером: одиночный запрос почти не изменится, а четыре параллельных (curl ... & + wait) закончатся заметно быстрее, чем четыре последовательных. Если разницы нет — проверьте, что --cont-batching включён и слоты не упираются в общий -c.

🤖 Кратко для ИИ

AI Release Knowledge Layer
Машинно-читаемое описание публикации · Версия 1.0

Статус: практическое руководство. Часть утверждений — заявления вендоров и проектов; проверяйте на своей среде.

1. Суть публикации

Пошаговая настройка инференс-сервера для роста скорости генерации токенов: draft-модель, кэширование префикса, размер батча и замеры до и после. Время выполнения: 45–70 минут на первый прогон, 10 минут на повторную настройку. Уровень сложности: Intermediate.

Внутри: прямые ответы, ключевые факты, участники, связи, достоверность, неизвестное и источники.

Машинные данные публикации: Citation Map JSON · JSON-LD · Semantic Embeddings — отдельный этап.

Полный Knowledge Layer: разделы 2–8

2. Прямые ответы

Что это за материал?
Пошаговая настройка инференс-сервера для роста скорости генерации токенов: draft-модель, кэширование префикса, размер батча и замеры до и после. → подробнее (AR-GUIDE-KAKUSKORIT-001)
Что понадобится?
ОС: Linux (Ubuntu/Debian-подобная) или Windows + WSL2. На Windows без WSL2 сборка с CUDA не соберётся «из коробки» — сверьтесь с документацией по вашей связке драйвер/CUDA.; GPU: NVIDIA, драйвер установлен, nvidia-smi отвечает.; Пакеты сборки: git, cmake, build-essential, CUDA Toolkit.; Модели: целевая… → подробнее (AR-GUIDE-KAKUSKORIT-003)
Как это сделать?
Шаг 1. Базовая линия: замерьте tokens/s и TTFT до любых оптимизаций → Шаг 2. Включите три рычага: спекулятивное декодирование, батчинг слотов и квантованный KV-кэш → Шаг 3. Проверка результата: A/B-замер и приёмка → подробнее (AR-GUIDE-KAKUSKORIT-004)
Что может пойти не так?
Ошибка: CUDA error: out of memory → подробнее (AR-GUIDE-KAKUSKORIT-006)

3. Ключевые факты

  1. Время выполнения: 45–70 минут на первый прогон, 10 минут на повторную настройку. — подтверждение; статус: заявление источника.
  2. Уровень сложности: Intermediate. — подтверждение; статус: заявление источника.
  3. Понадобится: Linux или Windows с WSL2; GPU NVIDIA + драйвер (версию сверьте с документацией CUDA); сборка llama.cpp с -DGGML_CUDA=ON; опционально vLLM для серверного батчинга; целевая модель в формате GGUF; draft-модель (маленькая «черновая» модель того же семейства); curl и jq; запас VRAM (сколько именно — измеряете сами, см. Шаг 1). — подтверждение; статус: заявление источника.
  4. ОС: Linux (Ubuntu/Debian-подобная) или Windows + WSL2. На Windows без WSL2 сборка с CUDA не соберётся «из коробки» — сверьтесь с документацией по вашей связке драйвер/CUDA. — подтверждение; статус: заявление источника.
  5. GPU: NVIDIA, драйвер установлен, nvidia-smi отвечает. — подтверждение; статус: заявление источника.
  6. Пакеты сборки: git, cmake, build-essential, CUDA Toolkit. — подтверждение; статус: заявление источника.
  7. Ошибка: CUDA error: out of memory — подтверждение; статус: анализ AI Release.
  8. Причина: KV-кэш аллоцируется под весь -c сразу; при --parallel 4 и большом -c требуемый объём превышает VRAM. — подтверждение; статус: анализ AI Release.

4. Участники и сущности

СущностьТипРоль в публикации
как ускорить локальную LLMтема/инструментупоминается в заголовке, TL;DR или разделах гайда
спекулятивное декодирование настройкатема/инструментупоминается в заголовке, TL;DR или разделах гайда
ускорить генерацию токенов llama.cpp vLLMтема/инструментупоминается в заголовке, TL;DR или разделах гайда
Windowsплатформа/технологияупоминается в заголовке, TL;DR или разделах гайда
Linuxплатформа/технологияупоминается в заголовке, TL;DR или разделах гайда
GitHubплатформа/технологияупоминается в заголовке, TL;DR или разделах гайда
CUDAплатформа/технологияупоминается в заголовке, TL;DR или разделах гайда
Gitплатформа/технологияупоминается в заголовке, TL;DR или разделах гайда
NVIDIAкомпанияупоминается в заголовке, TL;DR или разделах гайда
llama.cppтема/инструментупоминается в заголовке, TL;DR или разделах гайда

5. Связи и контекст

  • Гайд — описывает → Как ускорить локальную LLM: спекулятивное декодирование, батчинг и кэш KV (AR-GUIDE-KAKUSKORIT-001).
  • Гайд — содержит шаг → Шаг 1. Базовая линия: замерьте tokens/s и TTFT до любых оптимизаций (AR-GUIDE-KAKUSKORIT-001).

6. Достоверность и происхождение информации

Подтверждено

В материале нет отдельного независимого подтверждения; ниже разделены заявления источников и редакционные выводы.

Заявление источника

  • Характеристики продуктов, версии, цены и лимиты — из описаний вендоров и материалов гайда.
  • Команды и шаги приведены как рекомендация, а не как гарантированный результат.

Анализ AI Release

  • Структура, сравнение и критерии выбора — редакционные.
  • Гайд не заменяет независимый аудит или юридическую консультацию.

7. Что пока неизвестно

  • Ошибка: CUDA error: out of memory
  • Причина: KV-кэш аллоцируется под весь -c сразу; при --parallel 4 и большом -c требуемый объём превышает VRAM.
  • Решение: уменьшайте -c или число слотов, затем добавляйте квантование кэша:
  • Ошибка: ValueError: The model's max seq len (32768) is larger than the maximum number of tokens that can be stored in KV cache (16384). Try increasing gpu_memory_utilization or decreasing max_model_len.

8. Источники

ИсточникТипРоль
github.comвнешний источникссылка из тела гайда

Как цитировать: AI Release. Как ускорить локальную LLM: спекулятивное декодирование, батчинг и кэш KV. ai-release.org.