{
  "schema_version": "1.0",
  "publisher": "AI Release",
  "article": {
    "title": "125B MoE под столом: локальный LLM выдаёт 25 токенов/с без облака",
    "canonical_url": "https://ai-release.org/posts/125b-moe-pod-stolom-lokalnyy-llm-vydaet-25-tokenov-s-bez-oblaka-4318a03e.html",
    "language": "ru",
    "article_type": "news",
    "published_at": "2026-11-12T00:00:00+00:00",
    "updated_at": "2026-11-12T00:00:00+00:00"
  },
  "summary": "Автор Хабра держит 125B MoE-модель на рабочей станции: 22–25 токенов/с генерации и 500+ t/s префилла. Качество — 93,1% согласия с 8-битным эталоном, и ни один байт данных не уходит за периметр.",
  "topics": [
    "локальные",
    "MoE",
    "инференс",
    "ИБ",
    "AI",
    "LLM",
    "локальныеLLM",
    "нейросети"
  ],
  "entities": [
    {
      "id": "E-SRC",
      "name": "habr.com",
      "type": "источник",
      "description": "домен источника, указанного в публикации",
      "url": "https://habr.com/ru/articles/1107310/"
    },
    {
      "id": "E-T1",
      "name": "локальные",
      "type": "тема",
      "description": "тег публикации",
      "url": null
    },
    {
      "id": "E-T2",
      "name": "MoE",
      "type": "тема",
      "description": "тег публикации",
      "url": null
    },
    {
      "id": "E-T3",
      "name": "инференс",
      "type": "тема",
      "description": "тег публикации",
      "url": null
    },
    {
      "id": "E-T4",
      "name": "ИБ",
      "type": "тема",
      "description": "тег публикации",
      "url": null
    },
    {
      "id": "E-T5",
      "name": "AI",
      "type": "тема",
      "description": "тег публикации",
      "url": null
    },
    {
      "id": "E-T6",
      "name": "LLM",
      "type": "тема",
      "description": "тег публикации",
      "url": null
    },
    {
      "id": "E-T7",
      "name": "локальныеLLM",
      "type": "тема",
      "description": "тег публикации",
      "url": null
    },
    {
      "id": "E-T8",
      "name": "нейросети",
      "type": "тема",
      "description": "тег публикации",
      "url": null
    },
    {
      "id": "E-AIR",
      "name": "AI Release",
      "type": "издатель",
      "description": "опубликовал материал",
      "url": "https://ai-release.org/"
    }
  ],
  "claims": [
    {
      "id": "AR-125BMOEPOD-001",
      "statement": "Автор Хабра держит 125B MoE-модель на рабочей станции: 22–25 токенов/с генерации и 500+ t/s префилла.",
      "claim_type": "reported_fact",
      "confidence": "not_assessed",
      "source_type": "источник публикации",
      "verification_status": "reported_unverified",
      "source_url": "https://habr.com/ru/articles/1107310/",
      "article_anchor": "#ai-claim-001",
      "evidence_excerpt": "Автор Хабра держит 125B MoE-модель на рабочей станции: 22–25 токенов/с генерации и 500+ t/s префилла."
    },
    {
      "id": "AR-125BMOEPOD-002",
      "statement": "Качество — 93,1% согласия с 8-битным эталоном, и ни один байт данных не уходит за периметр.",
      "claim_type": "reported_fact",
      "confidence": "not_assessed",
      "source_type": "источник публикации",
      "verification_status": "reported_unverified",
      "source_url": "https://habr.com/ru/articles/1107310/",
      "article_anchor": "#ai-claim-002",
      "evidence_excerpt": "Качество — 93,1% согласия с 8-битным эталоном, и ни один байт данных не уходит за периметр."
    },
    {
      "id": "AR-125BMOEPOD-003",
      "statement": "Цифры держатся не на железе, а на настройке: квант под раскладку VRAM, свежий движок, спекулятивный декодер.",
      "claim_type": "reported_fact",
      "confidence": "not_assessed",
      "source_type": "источник публикации",
      "verification_status": "reported_unverified",
      "source_url": "https://habr.com/ru/articles/1107310/",
      "article_anchor": "#ai-claim-003",
      "evidence_excerpt": "Цифры держатся не на железе, а на настройке: квант под раскладку VRAM, свежий движок, спекулятивный декодер."
    },
    {
      "id": "AR-125BMOEPOD-004",
      "statement": "Пользователь 4KAP выложил на Хабре разбор своего пути к локальному инференсу .",
      "claim_type": "reported_fact",
      "confidence": "not_assessed",
      "source_type": "источник публикации",
      "verification_status": "reported_unverified",
      "source_url": "https://habr.com/ru/articles/1107310/",
      "article_anchor": "#ai-claim-004",
      "evidence_excerpt": "Пользователь 4KAP выложил на Хабре разбор своего пути к локальному инференсу ."
    },
    {
      "id": "AR-125BMOEPOD-005",
      "statement": "Заказчики у него — госкорпорации, банки, промышленные холдинги: там «коммерческая тайна» стоит на каждом втором документе, а первым делом спрашивают не «сколько стоит», а «куда уходят данные».",
      "claim_type": "reported_fact",
      "confidence": "not_assessed",
      "source_type": "источник публикации",
      "verification_status": "reported_unverified",
      "source_url": "https://habr.com/ru/articles/1107310/",
      "article_anchor": "#ai-claim-005",
      "evidence_excerpt": "Заказчики у него — госкорпорации, банки, промышленные холдинги: там «коммерческая тайна» стоит на каждом втором документе, а первым делом спрашивают не «сколько стоит», а «куда уходят данные»."
    },
    {
      "id": "AR-125BMOEPOD-006",
      "statement": "Ответ — цифрами: 125B MoE живёт на рабочей станции, выдаёт 22–25 токенов в секунду на генерации и 500+ t/s на префилле, качество — 93,1% согласия с 8-битным эталоном.",
      "claim_type": "reported_fact",
      "confidence": "not_assessed",
      "source_type": "источник публикации",
      "verification_status": "reported_unverified",
      "source_url": "https://habr.com/ru/articles/1107310/",
      "article_anchor": "#ai-claim-006",
      "evidence_excerpt": "Ответ — цифрами: 125B MoE живёт на рабочей станции, выдаёт 22–25 токенов в секунду на генерации и 500+ t/s на префилле, качество — 93,1% согласия с 8-битным эталоном."
    },
    {
      "id": "AR-125BMOEPOD-007",
      "statement": "Дальше начинается инженерия.",
      "claim_type": "reported_fact",
      "confidence": "not_assessed",
      "source_type": "источник публикации",
      "verification_status": "reported_unverified",
      "source_url": "https://habr.com/ru/articles/1107310/",
      "article_anchor": "#ai-claim-007",
      "evidence_excerpt": "Дальше начинается инженерия."
    },
    {
      "id": "AR-125BMOEPOD-008",
      "statement": "Квант выбирает не качество, а раскладка VRAM.",
      "claim_type": "reported_fact",
      "confidence": "not_assessed",
      "source_type": "источник публикации",
      "verification_status": "reported_unverified",
      "source_url": "https://habr.com/ru/articles/1107310/",
      "article_anchor": "#ai-claim-008",
      "evidence_excerpt": "Квант выбирает не качество, а раскладка VRAM."
    }
  ],
  "relationships": [
    {
      "subject": "habr.com",
      "predicate": "сообщает о",
      "object": "125B MoE под столом: локальный LLM выдаёт 25 токенов/с без облака",
      "claim_id": "AR-125BMOEPOD-001"
    },
    {
      "subject": "AI Release",
      "predicate": "публикует",
      "object": "125B MoE под столом: локальный LLM выдаёт 25 токенов/с без облака",
      "claim_id": "AR-125BMOEPOD-001"
    }
  ],
  "questions_and_answers": [
    {
      "question": "О чём эта публикация?",
      "answer": "125B MoE под столом: локальный LLM выдаёт 25 токенов/с без облака. Автор Хабра держит 125B MoE-модель на рабочей станции: 22–25 токенов/с генерации и 500+ t/s префилла.",
      "claim_ids": [
        "AR-125BMOEPOD-001"
      ],
      "article_anchor": "#ai-knowledge"
    },
    {
      "question": "Что произошло?",
      "answer": "Автор Хабра держит 125B MoE-модель на рабочей станции: 22–25 токенов/с генерации и 500+ t/s префилла. Качество — 93,1% согласия с 8-битным эталоном, и ни один байт данных не уходит за периметр. Цифры держатся не на железе, а на настройке: квант под раскладку VRAM, свежий движок, спекулятивный декодер.",
      "claim_ids": [
        "AR-125BMOEPOD-001",
        "AR-125BMOEPOD-002",
        "AR-125BMOEPOD-003"
      ],
      "article_anchor": "#ai-knowledge"
    },
    {
      "question": "Кто источник?",
      "answer": "habr.com: https://habr.com/ru/articles/1107310/",
      "claim_ids": [],
      "article_anchor": "#ai-knowledge"
    },
    {
      "question": "Что остаётся неизвестным?",
      "answer": "Материал передаёт сведения указанного источника; независимая проверка и полные параметры в публикации не приведены.",
      "claim_ids": [],
      "article_anchor": "#ai-knowledge"
    }
  ],
  "limitations": [
    "Независимая проверка сведений в публикации не указана.",
    "Полные параметры, даты и официальные документы могут отсутствовать.",
    "Материал является пересказом источника, а не первоисточником."
  ],
  "citation": {
    "preferred_citation": "AI Release. «125B MoE под столом: локальный LLM выдаёт 25 токенов/с без облака». 2026-11-12. https://ai-release.org/posts/125b-moe-pod-stolom-lokalnyy-llm-vydaet-25-tokenov-s-bez-oblaka-4318a03e.html",
    "canonical_url": "https://ai-release.org/posts/125b-moe-pod-stolom-lokalnyy-llm-vydaet-25-tokenov-s-bez-oblaka-4318a03e.html",
    "publisher": "AI Release"
  }
}