{
  "schema_version": "1.0",
  "publisher": "AI Release",
  "article": {
    "title": "Jeff 0.8B: модель, которая отвечает за миллисекунды — кому она нужна",
    "canonical_url": "https://ai-release.org/guides/jeff-0-8b-lokalno.html",
    "language": "ru",
    "article_type": "руководство",
    "published_at": null,
    "updated_at": "2026-11-10T00:00:00+00:00"
  },
  "summary": "Что умеет Jeff на 0.8 млрд параметров, как запустить локально, сколько нужно ОЗУ и в каких задачах крошечная модель обгоняет большие. Время выполнения: 25 минут (без учёта скачивания весов модели) Уровень сложности: Intermediate",
  "topics": [
    "Jeff",
    "0.8B",
    "локальные модели",
    "LLM",
    "инференс",
    "железо"
  ],
  "entities": [
    {
      "id": "E1",
      "name": "Jeff",
      "type": "тема/инструмент",
      "description": "упоминается в заголовке, TL;DR или разделах гайда",
      "url": null
    },
    {
      "id": "E2",
      "name": "0.8B",
      "type": "продукт/модель",
      "description": "упоминается в заголовке, TL;DR или разделах гайда",
      "url": null
    },
    {
      "id": "E3",
      "name": "локальные модели",
      "type": "тема/инструмент",
      "description": "упоминается в заголовке, TL;DR или разделах гайда",
      "url": null
    },
    {
      "id": "E4",
      "name": "LLM",
      "type": "тема/инструмент",
      "description": "упоминается в заголовке, TL;DR или разделах гайда",
      "url": null
    },
    {
      "id": "E5",
      "name": "инференс",
      "type": "тема/инструмент",
      "description": "упоминается в заголовке, TL;DR или разделах гайда",
      "url": null
    },
    {
      "id": "E6",
      "name": "железо",
      "type": "тема/инструмент",
      "description": "упоминается в заголовке, TL;DR или разделах гайда",
      "url": null
    },
    {
      "id": "E7",
      "name": "Windows",
      "type": "платформа/технология",
      "description": "упоминается в заголовке, TL;DR или разделах гайда",
      "url": null
    },
    {
      "id": "E8",
      "name": "Linux",
      "type": "платформа/технология",
      "description": "упоминается в заголовке, TL;DR или разделах гайда",
      "url": null
    },
    {
      "id": "E9",
      "name": "macOS",
      "type": "платформа/технология",
      "description": "упоминается в заголовке, TL;DR или разделах гайда",
      "url": null
    },
    {
      "id": "E10",
      "name": "GitHub",
      "type": "платформа/технология",
      "description": "упоминается в заголовке, TL;DR или разделах гайда",
      "url": null
    }
  ],
  "claims": [
    {
      "id": "AR-GUIDE-JEFF08BLOK-001",
      "statement": "Время выполнения: 25 минут (без учёта скачивания весов модели)",
      "claim_type": "guide_fact",
      "confidence": "not_assessed",
      "source_type": "заявление источника",
      "verification_status": "reported_unverified",
      "source_url": "https://ai-release.org/guides/jeff-0-8b-lokalno.html",
      "article_anchor": "#tldr",
      "evidence_excerpt": "Время выполнения: 25 минут (без учёта скачивания весов модели)"
    },
    {
      "id": "AR-GUIDE-JEFF08BLOK-002",
      "statement": "Уровень сложности: Intermediate",
      "claim_type": "guide_fact",
      "confidence": "not_assessed",
      "source_type": "заявление источника",
      "verification_status": "reported_unverified",
      "source_url": "https://ai-release.org/guides/jeff-0-8b-lokalno.html",
      "article_anchor": "#tldr",
      "evidence_excerpt": "Уровень сложности: Intermediate"
    },
    {
      "id": "AR-GUIDE-JEFF08BLOK-003",
      "statement": "Понадобится: Linux/macOS или Windows 10/11 + WSL2; Ollama либо llama.cpp; curl; jq; файл весов или доступ к реестру моделей; nexa-bridge (репозиторий NexaEthos/nexa-bridge на GitHub), если машина с моделью стоит за NAT",
      "claim_type": "guide_fact",
      "confidence": "not_assessed",
      "source_type": "заявление источника",
      "verification_status": "reported_unverified",
      "source_url": "https://ai-release.org/guides/jeff-0-8b-lokalno.html",
      "article_anchor": "#tldr",
      "evidence_excerpt": "Понадобится: Linux/macOS или Windows 10/11 + WSL2; Ollama либо llama.cpp; curl; jq; файл весов или доступ к реестру моделей; nexa-bridge (репозиторий NexaEthos/nexa-bridge на GitHub), если машина с моделью стоит за NAT"
    },
    {
      "id": "AR-GUIDE-JEFF08BLOK-004",
      "statement": "Требования к RAM/VRAM и точный тег модели в реестре сверьте с карточкой модели и документацией: в исходных материалах этих цифр нет",
      "claim_type": "guide_fact",
      "confidence": "not_assessed",
      "source_type": "заявление источника",
      "verification_status": "reported_unverified",
      "source_url": "https://ai-release.org/guides/jeff-0-8b-lokalno.html",
      "article_anchor": "#tldr",
      "evidence_excerpt": "Требования к RAM/VRAM и точный тег модели в реестре сверьте с карточкой модели и документацией: в исходных материалах этих цифр нет"
    },
    {
      "id": "AR-GUIDE-JEFF08BLOK-005",
      "statement": "ОС: Linux x86_64/arm64, macOS или Windows 10/11 с WSL2 — сервер инференса запускается из терминала.",
      "claim_type": "guide_fact",
      "confidence": "not_assessed",
      "source_type": "заявление источника",
      "verification_status": "reported_unverified",
      "source_url": "https://ai-release.org/guides/jeff-0-8b-lokalno.html",
      "article_anchor": "#requirements",
      "evidence_excerpt": "ОС: Linux x86_64/arm64, macOS или Windows 10/11 с WSL2 — сервер инференса запускается из терминала."
    },
    {
      "id": "AR-GUIDE-JEFF08BLOK-006",
      "statement": "Сервер инференса: Ollama (быстрый старт) или llama.cpp (если у вас GGUF-файл). Оба варианта nexa-bridge поддерживает как источники моделей — наравне с vLLM и LM Studio.",
      "claim_type": "guide_fact",
      "confidence": "not_assessed",
      "source_type": "заявление источника",
      "verification_status": "reported_unverified",
      "source_url": "https://ai-release.org/guides/jeff-0-8b-lokalno.html",
      "article_anchor": "#requirements",
      "evidence_excerpt": "Сервер инференса: Ollama (быстрый старт) или llama.cpp (если у вас GGUF-файл). Оба варианта nexa-bridge поддерживает как источники моделей — наравне с vLLM и LM Studio."
    },
    {
      "id": "AR-GUIDE-JEFF08BLOK-007",
      "statement": "curl и jq — чтобы снимать HTTP-коды, время ответа и разбирать JSON.",
      "claim_type": "guide_fact",
      "confidence": "not_assessed",
      "source_type": "заявление источника",
      "verification_status": "reported_unverified",
      "source_url": "https://ai-release.org/guides/jeff-0-8b-lokalno.html",
      "article_anchor": "#requirements",
      "evidence_excerpt": "curl и jq — чтобы снимать HTTP-коды, время ответа и разбирать JSON."
    },
    {
      "id": "AR-GUIDE-JEFF08BLOK-008",
      "statement": "Ошибка: Error: model requires more system memory (3.1 GiB) than is available (2.0 GiB)",
      "claim_type": "guide_fact",
      "confidence": "editorial_assessment",
      "source_type": "анализ AI Release",
      "verification_status": "editorial_analysis",
      "source_url": "https://ai-release.org/guides/jeff-0-8b-lokalno.html",
      "article_anchor": "#problems",
      "evidence_excerpt": "Ошибка: Error: model requires more system memory (3.1 GiB) than is available (2.0 GiB)"
    },
    {
      "id": "AR-GUIDE-JEFF08BLOK-009",
      "statement": "Причина: выбранный вариант весов или слишком длинный контекст не помещаются в доступную RAM/VRAM; числа в сообщении у вас будут свои.",
      "claim_type": "guide_fact",
      "confidence": "editorial_assessment",
      "source_type": "анализ AI Release",
      "verification_status": "editorial_analysis",
      "source_url": "https://ai-release.org/guides/jeff-0-8b-lokalno.html",
      "article_anchor": "#problems",
      "evidence_excerpt": "Причина: выбранный вариант весов или слишком длинный контекст не помещаются в доступную RAM/VRAM; числа в сообщении у вас будут свои."
    }
  ],
  "relationships": [
    {
      "subject": "Гайд",
      "predicate": "описывает",
      "object": "Jeff 0.8B: модель, которая отвечает за миллисекунды — кому она нужна",
      "claim_id": "AR-GUIDE-JEFF08BLOK-001"
    },
    {
      "subject": "Гайд",
      "predicate": "содержит шаг",
      "object": "Шаг 1. Поднимаем локальный инференс и получаем первый ответ",
      "claim_id": "AR-GUIDE-JEFF08BLOK-001"
    }
  ],
  "questions_and_answers": [
    {
      "question": "Что это за материал?",
      "answer": "Что умеет Jeff на 0.8 млрд параметров, как запустить локально, сколько нужно ОЗУ и в каких задачах крошечная модель обгоняет большие.",
      "claim_ids": [
        "AR-GUIDE-JEFF08BLOK-001"
      ],
      "article_anchor": "#suschnost"
    },
    {
      "question": "Что понадобится?",
      "answer": "ОС: Linux x86_64/arm64, macOS или Windows 10/11 с WSL2 — сервер инференса запускается из терминала.; Сервер инференса: Ollama (быстрый старт) или llama.cpp (если у вас GGUF-файл). Оба варианта nexa-bridge поддерживает как источники моделей — наравне с vLLM и LM Studio.; curl и jq — чтобы снимать HTTP-коды, время…",
      "claim_ids": [
        "AR-GUIDE-JEFF08BLOK-003"
      ],
      "article_anchor": "#requirements"
    },
    {
      "question": "Как это сделать?",
      "answer": "Шаг 1. Поднимаем локальный инференс и получаем первый ответ → Шаг 2. Выставляем OpenAI-совместимый эндпоинт (и выводим его из-за NAT) → Шаг 3. Замеряем миллисекунды и решаем, кому модель нужна",
      "claim_ids": [
        "AR-GUIDE-JEFF08BLOK-004"
      ],
      "article_anchor": "#step-1"
    },
    {
      "question": "Что может пойти не так?",
      "answer": "Ошибка: Error: model requires more system memory (3.1 GiB) than is available (2.0 GiB)",
      "claim_ids": [
        "AR-GUIDE-JEFF08BLOK-006"
      ],
      "article_anchor": "#problems"
    }
  ],
  "limitations": [
    "Ошибка: Error: model requires more system memory (3.1 GiB) than is available (2.0 GiB)",
    "Причина: выбранный вариант весов или слишком длинный контекст не помещаются в доступную RAM/VRAM; числа в сообщении у вас будут свои.",
    "Решение: уменьшить контекст (llama-server ... -c 1024), взять более компактное квантование из карточки модели и проверить, что память не занята прошлым процессом: ollama ps, затем при необходимости остановить лишнюю модель.",
    "Ошибка: curl: (7) Failed to connect to localhost port 11434 after 0 ms: Couldn't connect to server"
  ],
  "citation": {
    "preferred_citation": "AI Release. Jeff 0.8B: модель, которая отвечает за миллисекунды — кому она нужна. https://ai-release.org/guides/jeff-0-8b-lokalno.html",
    "canonical_url": "https://ai-release.org/guides/jeff-0-8b-lokalno.html",
    "publisher": "AI Release"
  }
}