{
  "schema_version": "1.0",
  "publisher": "AI Release",
  "article": {
    "title": "Как ускорить локальную LLM: спекулятивное декодирование, батчинг и кэш KV",
    "canonical_url": "https://ai-release.org/guides/kak-uskorit-lokalnuyu-llm-spekulyativnoe-dekodirovanie.html",
    "language": "ru",
    "article_type": "руководство",
    "published_at": null,
    "updated_at": "2026-11-17T00:00:00+00:00"
  },
  "summary": "Пошаговая настройка инференс-сервера для роста скорости генерации токенов: draft-модель, кэширование префикса, размер батча и замеры до и после. Время выполнения: 45–70 минут на первый прогон, 10 минут на повторную настройку. Уровень сложности: Intermediate.",
  "topics": [
    "как ускорить локальную LLM",
    "спекулятивное декодирование настройка",
    "ускорить генерацию токенов llama.cpp vLLM"
  ],
  "entities": [
    {
      "id": "E1",
      "name": "как ускорить локальную LLM",
      "type": "тема/инструмент",
      "description": "упоминается в заголовке, TL;DR или разделах гайда",
      "url": null
    },
    {
      "id": "E2",
      "name": "спекулятивное декодирование настройка",
      "type": "тема/инструмент",
      "description": "упоминается в заголовке, TL;DR или разделах гайда",
      "url": null
    },
    {
      "id": "E3",
      "name": "ускорить генерацию токенов llama.cpp vLLM",
      "type": "тема/инструмент",
      "description": "упоминается в заголовке, TL;DR или разделах гайда",
      "url": null
    },
    {
      "id": "E4",
      "name": "Windows",
      "type": "платформа/технология",
      "description": "упоминается в заголовке, TL;DR или разделах гайда",
      "url": null
    },
    {
      "id": "E5",
      "name": "Linux",
      "type": "платформа/технология",
      "description": "упоминается в заголовке, TL;DR или разделах гайда",
      "url": null
    },
    {
      "id": "E6",
      "name": "GitHub",
      "type": "платформа/технология",
      "description": "упоминается в заголовке, TL;DR или разделах гайда",
      "url": null
    },
    {
      "id": "E7",
      "name": "CUDA",
      "type": "платформа/технология",
      "description": "упоминается в заголовке, TL;DR или разделах гайда",
      "url": null
    },
    {
      "id": "E8",
      "name": "Git",
      "type": "платформа/технология",
      "description": "упоминается в заголовке, TL;DR или разделах гайда",
      "url": null
    },
    {
      "id": "E9",
      "name": "NVIDIA",
      "type": "компания",
      "description": "упоминается в заголовке, TL;DR или разделах гайда",
      "url": null
    },
    {
      "id": "E10",
      "name": "llama.cpp",
      "type": "тема/инструмент",
      "description": "упоминается в заголовке, TL;DR или разделах гайда",
      "url": null
    }
  ],
  "claims": [
    {
      "id": "AR-GUIDE-KAKUSKORIT-001",
      "statement": "Время выполнения: 45–70 минут на первый прогон, 10 минут на повторную настройку.",
      "claim_type": "guide_fact",
      "confidence": "not_assessed",
      "source_type": "заявление источника",
      "verification_status": "reported_unverified",
      "source_url": "https://ai-release.org/guides/kak-uskorit-lokalnuyu-llm-spekulyativnoe-dekodirovanie.html",
      "article_anchor": "#tldr",
      "evidence_excerpt": "Время выполнения: 45–70 минут на первый прогон, 10 минут на повторную настройку."
    },
    {
      "id": "AR-GUIDE-KAKUSKORIT-002",
      "statement": "Уровень сложности: Intermediate.",
      "claim_type": "guide_fact",
      "confidence": "not_assessed",
      "source_type": "заявление источника",
      "verification_status": "reported_unverified",
      "source_url": "https://ai-release.org/guides/kak-uskorit-lokalnuyu-llm-spekulyativnoe-dekodirovanie.html",
      "article_anchor": "#tldr",
      "evidence_excerpt": "Уровень сложности: Intermediate."
    },
    {
      "id": "AR-GUIDE-KAKUSKORIT-003",
      "statement": "Понадобится: Linux или Windows с WSL2; GPU NVIDIA + драйвер (версию сверьте с документацией CUDA); сборка llama.cpp с -DGGML_CUDA=ON; опционально vLLM для серверного батчинга; целевая модель в формате GGUF; draft-модель (маленькая «черновая» модель того же семейства); curl и jq; запас VRAM (сколько именно — измеряете сами, см. Шаг 1).",
      "claim_type": "guide_fact",
      "confidence": "not_assessed",
      "source_type": "заявление источника",
      "verification_status": "reported_unverified",
      "source_url": "https://ai-release.org/guides/kak-uskorit-lokalnuyu-llm-spekulyativnoe-dekodirovanie.html",
      "article_anchor": "#tldr",
      "evidence_excerpt": "Понадобится: Linux или Windows с WSL2; GPU NVIDIA + драйвер (версию сверьте с документацией CUDA); сборка llama.cpp с -DGGML_CUDA=ON; опционально vLLM для серверного батчинга; целевая модель в формате GGUF; draft-модель (маленькая «черновая» модель того же семейства); curl и jq; запас VRAM (сколько именно — измеряете сами, см. Шаг 1)."
    },
    {
      "id": "AR-GUIDE-KAKUSKORIT-004",
      "statement": "ОС: Linux (Ubuntu/Debian-подобная) или Windows + WSL2. На Windows без WSL2 сборка с CUDA не соберётся «из коробки» — сверьтесь с документацией по вашей связке драйвер/CUDA.",
      "claim_type": "guide_fact",
      "confidence": "not_assessed",
      "source_type": "заявление источника",
      "verification_status": "reported_unverified",
      "source_url": "https://ai-release.org/guides/kak-uskorit-lokalnuyu-llm-spekulyativnoe-dekodirovanie.html",
      "article_anchor": "#requirements",
      "evidence_excerpt": "ОС: Linux (Ubuntu/Debian-подобная) или Windows + WSL2. На Windows без WSL2 сборка с CUDA не соберётся «из коробки» — сверьтесь с документацией по вашей связке драйвер/CUDA."
    },
    {
      "id": "AR-GUIDE-KAKUSKORIT-005",
      "statement": "GPU: NVIDIA, драйвер установлен, nvidia-smi отвечает.",
      "claim_type": "guide_fact",
      "confidence": "not_assessed",
      "source_type": "заявление источника",
      "verification_status": "reported_unverified",
      "source_url": "https://ai-release.org/guides/kak-uskorit-lokalnuyu-llm-spekulyativnoe-dekodirovanie.html",
      "article_anchor": "#requirements",
      "evidence_excerpt": "GPU: NVIDIA, драйвер установлен, nvidia-smi отвечает."
    },
    {
      "id": "AR-GUIDE-KAKUSKORIT-006",
      "statement": "Пакеты сборки: git, cmake, build-essential, CUDA Toolkit.",
      "claim_type": "guide_fact",
      "confidence": "not_assessed",
      "source_type": "заявление источника",
      "verification_status": "reported_unverified",
      "source_url": "https://ai-release.org/guides/kak-uskorit-lokalnuyu-llm-spekulyativnoe-dekodirovanie.html",
      "article_anchor": "#requirements",
      "evidence_excerpt": "Пакеты сборки: git, cmake, build-essential, CUDA Toolkit."
    },
    {
      "id": "AR-GUIDE-KAKUSKORIT-007",
      "statement": "Ошибка: CUDA error: out of memory",
      "claim_type": "guide_fact",
      "confidence": "editorial_assessment",
      "source_type": "анализ AI Release",
      "verification_status": "editorial_analysis",
      "source_url": "https://ai-release.org/guides/kak-uskorit-lokalnuyu-llm-spekulyativnoe-dekodirovanie.html",
      "article_anchor": "#problems",
      "evidence_excerpt": "Ошибка: CUDA error: out of memory"
    },
    {
      "id": "AR-GUIDE-KAKUSKORIT-008",
      "statement": "Причина: KV-кэш аллоцируется под весь -c сразу; при --parallel 4 и большом -c требуемый объём превышает VRAM.",
      "claim_type": "guide_fact",
      "confidence": "editorial_assessment",
      "source_type": "анализ AI Release",
      "verification_status": "editorial_analysis",
      "source_url": "https://ai-release.org/guides/kak-uskorit-lokalnuyu-llm-spekulyativnoe-dekodirovanie.html",
      "article_anchor": "#problems",
      "evidence_excerpt": "Причина: KV-кэш аллоцируется под весь -c сразу; при --parallel 4 и большом -c требуемый объём превышает VRAM."
    }
  ],
  "relationships": [
    {
      "subject": "Гайд",
      "predicate": "описывает",
      "object": "Как ускорить локальную LLM: спекулятивное декодирование, батчинг и кэш KV",
      "claim_id": "AR-GUIDE-KAKUSKORIT-001"
    },
    {
      "subject": "Гайд",
      "predicate": "содержит шаг",
      "object": "Шаг 1. Базовая линия: замерьте tokens/s и TTFT до любых оптимизаций",
      "claim_id": "AR-GUIDE-KAKUSKORIT-001"
    }
  ],
  "questions_and_answers": [
    {
      "question": "Что это за материал?",
      "answer": "Пошаговая настройка инференс-сервера для роста скорости генерации токенов: draft-модель, кэширование префикса, размер батча и замеры до и после.",
      "claim_ids": [
        "AR-GUIDE-KAKUSKORIT-001"
      ],
      "article_anchor": "#suschnost"
    },
    {
      "question": "Что понадобится?",
      "answer": "ОС: Linux (Ubuntu/Debian-подобная) или Windows + WSL2. На Windows без WSL2 сборка с CUDA не соберётся «из коробки» — сверьтесь с документацией по вашей связке драйвер/CUDA.; GPU: NVIDIA, драйвер установлен, nvidia-smi отвечает.; Пакеты сборки: git, cmake, build-essential, CUDA Toolkit.; Модели: целевая…",
      "claim_ids": [
        "AR-GUIDE-KAKUSKORIT-003"
      ],
      "article_anchor": "#requirements"
    },
    {
      "question": "Как это сделать?",
      "answer": "Шаг 1. Базовая линия: замерьте tokens/s и TTFT до любых оптимизаций → Шаг 2. Включите три рычага: спекулятивное декодирование, батчинг слотов и квантованный KV-кэш → Шаг 3. Проверка результата: A/B-замер и приёмка",
      "claim_ids": [
        "AR-GUIDE-KAKUSKORIT-004"
      ],
      "article_anchor": "#step-1"
    },
    {
      "question": "Что может пойти не так?",
      "answer": "Ошибка: CUDA error: out of memory",
      "claim_ids": [
        "AR-GUIDE-KAKUSKORIT-006"
      ],
      "article_anchor": "#problems"
    }
  ],
  "limitations": [
    "Ошибка: CUDA error: out of memory",
    "Причина: KV-кэш аллоцируется под весь -c сразу; при --parallel 4 и большом -c требуемый объём превышает VRAM.",
    "Решение: уменьшайте -c или число слотов, затем добавляйте квантование кэша:",
    "Ошибка: ValueError: The model's max seq len (32768) is larger than the maximum number of tokens that can be stored in KV cache (16384). Try increasing gpu_memory_utilization or decreasing max_model_len."
  ],
  "citation": {
    "preferred_citation": "AI Release. Как ускорить локальную LLM: спекулятивное декодирование, батчинг и кэш KV. https://ai-release.org/guides/kak-uskorit-lokalnuyu-llm-spekulyativnoe-dekodirovanie.html",
    "canonical_url": "https://ai-release.org/guides/kak-uskorit-lokalnuyu-llm-spekulyativnoe-dekodirovanie.html",
    "publisher": "AI Release"
  }
}