{
  "schema_version": "1.0",
  "publisher": "AI Release",
  "article": {
    "title": "Легкие LLM на VPS без GPU: 4B-модели дают 90% точности за 3–5 секунд",
    "canonical_url": "https://ai-release.org/posts/legkie-llm-na-vps-bez-gpu-4b-modeli-dayut-90-tochnosti-za-3-5-sekund-78441f13.html",
    "language": "ru",
    "article_type": "news",
    "published_at": "2026-11-16T00:00:00+00:00",
    "updated_at": "2026-11-16T00:00:00+00:00"
  },
  "summary": "VPS с 8 ГБ RAM и 5 vCPU: 9 легких LLM на 326 обращениях дали 87–92% точности, кэш промптов в Ollama ускоряет ответ в 2–3 раза, 4B хватает для рутины.",
  "topics": [
    "LLM",
    "Ollama",
    "VPS",
    "бенчмарки",
    "AI",
    "нейросети",
    "MachineLearning",
    "ChatGPT"
  ],
  "entities": [
    {
      "id": "E-SRC",
      "name": "habr.com",
      "type": "источник",
      "description": "домен источника, указанного в публикации",
      "url": "https://habr.com/ru/articles/1108600/"
    },
    {
      "id": "E-T1",
      "name": "LLM",
      "type": "тема",
      "description": "тег публикации",
      "url": null
    },
    {
      "id": "E-T2",
      "name": "Ollama",
      "type": "тема",
      "description": "тег публикации",
      "url": null
    },
    {
      "id": "E-T3",
      "name": "VPS",
      "type": "тема",
      "description": "тег публикации",
      "url": null
    },
    {
      "id": "E-T4",
      "name": "бенчмарки",
      "type": "тема",
      "description": "тег публикации",
      "url": null
    },
    {
      "id": "E-T5",
      "name": "AI",
      "type": "тема",
      "description": "тег публикации",
      "url": null
    },
    {
      "id": "E-T6",
      "name": "нейросети",
      "type": "тема",
      "description": "тег публикации",
      "url": null
    },
    {
      "id": "E-T7",
      "name": "MachineLearning",
      "type": "тема",
      "description": "тег публикации",
      "url": null
    },
    {
      "id": "E-T8",
      "name": "ChatGPT",
      "type": "тема",
      "description": "тег публикации",
      "url": null
    },
    {
      "id": "E-AIR",
      "name": "AI Release",
      "type": "издатель",
      "description": "опубликовал материал",
      "url": "https://ai-release.org/"
    }
  ],
  "claims": [
    {
      "id": "AR-LEGKIELLMN-001",
      "statement": "На VPS с 8 ГБ RAM и 5 vCPU модели на 2–4B классифицируют обращения за 3–5 сек с точностью около 90%.",
      "claim_type": "reported_fact",
      "confidence": "not_assessed",
      "source_type": "источник публикации",
      "verification_status": "reported_unverified",
      "source_url": "https://habr.com/ru/articles/1108600/",
      "article_anchor": "#ai-claim-001",
      "evidence_excerpt": "На VPS с 8 ГБ RAM и 5 vCPU модели на 2–4B классифицируют обращения за 3–5 сек с точностью около 90%."
    },
    {
      "id": "AR-LEGKIELLMN-002",
      "statement": "Кэш промптов в Ollama ускоряет ответ в 2–3 раза: QVikhr-3-4B — 3,8 сек с кэшем против 12,4 сек без.",
      "claim_type": "reported_fact",
      "confidence": "not_assessed",
      "source_type": "источник публикации",
      "verification_status": "reported_unverified",
      "source_url": "https://habr.com/ru/articles/1108600/",
      "article_anchor": "#ai-claim-002",
      "evidence_excerpt": "Кэш промптов в Ollama ускоряет ответ в 2–3 раза: QVikhr-3-4B — 3,8 сек с кэшем против 12,4 сек без."
    },
    {
      "id": "AR-LEGKIELLMN-003",
      "statement": "Модели на 8–10B не обогнали 4B по скорости; на 8 ГБ RAM кэш по умолчанию съедает память — автор советует LLAMA_ARG_CACHE_RAM=1024 .",
      "claim_type": "reported_fact",
      "confidence": "not_assessed",
      "source_type": "источник публикации",
      "verification_status": "reported_unverified",
      "source_url": "https://habr.com/ru/articles/1108600/",
      "article_anchor": "#ai-claim-003",
      "evidence_excerpt": "Модели на 8–10B не обогнали 4B по скорости; на 8 ГБ RAM кэш по умолчанию съедает память — автор советует LLAMA_ARG_CACHE_RAM=1024 ."
    },
    {
      "id": "AR-LEGKIELLMN-004",
      "statement": "Автор Хабра vechersky выложил вторую часть разбора легких LLM на CPU.",
      "claim_type": "reported_fact",
      "confidence": "not_assessed",
      "source_type": "источник публикации",
      "verification_status": "reported_unverified",
      "source_url": "https://habr.com/ru/articles/1108600/",
      "article_anchor": "#ai-claim-004",
      "evidence_excerpt": "Автор Хабра vechersky выложил вторую часть разбора легких LLM на CPU."
    },
    {
      "id": "AR-LEGKIELLMN-005",
      "statement": "Стенд: VPS у JustHost, Intel Xeon Gold 6148, 5 vCPU, 8 ГБ RAM, swap 4 ГБ, Ubuntu 24.04, Ollama 0.35.0 в Docker, внутри llama.cpp сборки 161755f29 .",
      "claim_type": "reported_fact",
      "confidence": "not_assessed",
      "source_type": "источник публикации",
      "verification_status": "reported_unverified",
      "source_url": "https://habr.com/ru/articles/1108600/",
      "article_anchor": "#ai-claim-005",
      "evidence_excerpt": "Стенд: VPS у JustHost, Intel Xeon Gold 6148, 5 vCPU, 8 ГБ RAM, swap 4 ГБ, Ubuntu 24.04, Ollama 0.35.0 в Docker, внутри llama.cpp сборки 161755f29 ."
    },
    {
      "id": "AR-LEGKIELLMN-006",
      "statement": "К моделям из первой части (QVikhr-3-4B, qwen3.5:2b и 4b, gemma3:4b, granite4:micro-h) добавили пять покрупнее, все с Hugging Face в квантизации Q4_K_M: GigaChat 3.1 Lightning 10B на 6,5 ГБ (MoE, на каждый токен работает 1,8B параметров), T-lite-it-2.1 8B на 5,0 ГБ, YandexGPT-5-Lite-8B-instruct на 4,9 ГБ, Qwen3-8B на 5,0 ГБ и GLM-4-9B-0414 на 6,2 ГБ.",
      "claim_type": "reported_fact",
      "confidence": "not_assessed",
      "source_type": "источник публикации",
      "verification_status": "reported_unverified",
      "source_url": "https://habr.com/ru/articles/1108600/",
      "article_anchor": "#ai-claim-006",
      "evidence_excerpt": "К моделям из первой части (QVikhr-3-4B, qwen3.5:2b и 4b, gemma3:4b, granite4:micro-h) добавили пять покрупнее, все с Hugging Face в квантизации Q4_K_M: GigaChat 3.1 Lightning 10B на 6,5 ГБ (MoE, на каждый токен работает 1,8B параметров), T-lite-it-2.1 8B на 5,0 ГБ, YandexGPT-5-Lite-8B-instruct на 4,9 ГБ, Qwen3-8B на 5,0 ГБ и GLM-4-9B-0414 на 6,2 ГБ."
    },
    {
      "id": "AR-LEGKIELLMN-007",
      "statement": "Главная цифра — 326 обращений и точность 87–92% у девяти моделей из десяти.",
      "claim_type": "reported_fact",
      "confidence": "not_assessed",
      "source_type": "источник публикации",
      "verification_status": "reported_unverified",
      "source_url": "https://habr.com/ru/articles/1108600/",
      "article_anchor": "#ai-claim-007",
      "evidence_excerpt": "Главная цифра — 326 обращений и точность 87–92% у девяти моделей из десяти."
    },
    {
      "id": "AR-LEGKIELLMN-008",
      "statement": "В первом заходе было 20 примеров, и семь моделей выбили 100%: разница между этими тестами и есть главный вывод статьи.",
      "claim_type": "reported_fact",
      "confidence": "not_assessed",
      "source_type": "источник публикации",
      "verification_status": "reported_unverified",
      "source_url": "https://habr.com/ru/articles/1108600/",
      "article_anchor": "#ai-claim-008",
      "evidence_excerpt": "В первом заходе было 20 примеров, и семь моделей выбили 100%: разница между этими тестами и есть главный вывод статьи."
    }
  ],
  "relationships": [
    {
      "subject": "habr.com",
      "predicate": "сообщает о",
      "object": "Легкие LLM на VPS без GPU: 4B-модели дают 90% точности за 3–5 секунд",
      "claim_id": "AR-LEGKIELLMN-001"
    },
    {
      "subject": "AI Release",
      "predicate": "публикует",
      "object": "Легкие LLM на VPS без GPU: 4B-модели дают 90% точности за 3–5 секунд",
      "claim_id": "AR-LEGKIELLMN-001"
    }
  ],
  "questions_and_answers": [
    {
      "question": "О чём эта публикация?",
      "answer": "Легкие LLM на VPS без GPU: 4B-модели дают 90% точности за 3–5 секунд. На VPS с 8 ГБ RAM и 5 vCPU модели на 2–4B классифицируют обращения за 3–5 сек с точностью около 90%.",
      "claim_ids": [
        "AR-LEGKIELLMN-001"
      ],
      "article_anchor": "#ai-knowledge"
    },
    {
      "question": "Что произошло?",
      "answer": "На VPS с 8 ГБ RAM и 5 vCPU модели на 2–4B классифицируют обращения за 3–5 сек с точностью около 90%. Кэш промптов в Ollama ускоряет ответ в 2–3 раза: QVikhr-3-4B — 3,8 сек с кэшем против 12,4 сек без. Модели на 8–10B не обогнали 4B по скорости; на 8 ГБ RAM кэш по умолчанию съедает память — автор советует LLAMA_ARG_CACHE_RAM=1024 .",
      "claim_ids": [
        "AR-LEGKIELLMN-001",
        "AR-LEGKIELLMN-002",
        "AR-LEGKIELLMN-003"
      ],
      "article_anchor": "#ai-knowledge"
    },
    {
      "question": "Кто источник?",
      "answer": "habr.com: https://habr.com/ru/articles/1108600/",
      "claim_ids": [],
      "article_anchor": "#ai-knowledge"
    },
    {
      "question": "Что остаётся неизвестным?",
      "answer": "Материал передаёт сведения указанного источника; независимая проверка и полные параметры в публикации не приведены.",
      "claim_ids": [],
      "article_anchor": "#ai-knowledge"
    }
  ],
  "limitations": [
    "Независимая проверка сведений в публикации не указана.",
    "Полные параметры, даты и официальные документы могут отсутствовать.",
    "Материал является пересказом источника, а не первоисточником."
  ],
  "citation": {
    "preferred_citation": "AI Release. «Легкие LLM на VPS без GPU: 4B-модели дают 90% точности за 3–5 секунд». 2026-11-16. https://ai-release.org/posts/legkie-llm-na-vps-bez-gpu-4b-modeli-dayut-90-tochnosti-za-3-5-sekund-78441f13.html",
    "canonical_url": "https://ai-release.org/posts/legkie-llm-na-vps-bez-gpu-4b-modeli-dayut-90-tochnosti-za-3-5-sekund-78441f13.html",
    "publisher": "AI Release"
  }
}