125B MoE под столом: локальный LLM выдаёт 25 токенов/с без облака

⚡ Главное за 5 секунд

• Автор Хабра держит 125B MoE-модель на рабочей станции: 22–25 токенов/с генерации и 500+ t/s префилла.
• Качество — 93,1% согласия с 8-битным эталоном, и ни один байт данных не уходит за периметр.
• Цифры держатся не на железе, а на настройке: квант под раскладку VRAM, свежий движок, спекулятивный декодер.

🔍 Что случилось

Пользователь 4KAP выложил на Хабре разбор своего пути к локальному инференсу. Заказчики у него — госкорпорации, банки, промышленные холдинги: там «коммерческая тайна» стоит на каждом втором документе, а первым делом спрашивают не «сколько стоит», а «куда уходят данные». Ответ — цифрами: 125B MoE живёт на рабочей станции, выдаёт 22–25 токенов в секунду на генерации и 500+ t/s на префилле, качество — 93,1% согласия с 8-битным эталоном.

Дальше начинается инженерия. Квант выбирает не качество, а раскладка VRAM. Версия движка — самый дешёвый апгрейд: +79% к декоду, но после каждого обновления нужна перекалибровка. На Windows смотреть надо на commit, а не на RAM: pagefile даёт +48%. KV-кеш почти бесплатен, параллельные слоты — нет. Спекулятивный декодер автор называет must have. Маскирование он тоже разбирает честно: слой обязательный, но частичный — код, конфиги и метаданные маскировать нечем, а по косвенным признакам замаскированный контекст реконструируется.

🧠 Наш разбор

«Требование ИБ — не каприз» — вот главный тезис статьи, и я с ним согласен. Спор про локальный инференс годами упирался в «медленно и дорого». Здесь человек показывает: 22–25 t/s хватает, чтобы агент писал код, копался в трассировках инцидентов и собирал прототипы. Наша оценка: перелом случился не из-за новой модели, а из-за движков и нормальной настройки. Квант, слоты, спекулятивный декодер — это уже ремесло, а не «поставил и запустил».

Раньше выбор был бинарный: облако или ничего. Теперь появляется третий вариант — гибрид. Автор сам его и прогнозирует: облако для дизайна и сложных решений, локально — массовые волны и всё чувствительное. Мы считаем, для команд разработки это самый правдоподобный сценарий. Вопрос в другом: кто оплатит железо и время инженера, который будет это тюнить месяцами.

Выигрывают те, кому ИБ дышит в затылок, — банки, промышленность, госсектор. Облачные провайдеры, похоже, теряют не весь рынок, а его чувствительную часть, и это уже немало. Отдельно отмечу аргумент про резервный канал: настроенные процессы переживают пропажу подписок, снятие deployment'ов и даже отключение интернета. Про такое обычно вспоминают после аварии, а не до.

⚠️ Чего мы не знаем

Модель по имени не названа — только «125B MoE». Железо идёт без спецификаций: ни CPU, ни GPU, ни объёма VRAM. «500+ t/s префилла» без длины промпта говорит мало. Методику замера «93,1% согласия» в приведённом фрагменте автор не раскрывает. И это один человек с одним рабочим процессом, а не независимый тест: чужой харнесс у вас не заработает один в один, проверять придётся на своих задачах.

Прогноз: в течение года хотя бы один крупный заказчик из банков или госкорпораций пропишет «агенты внутри контура» в требованиях к подрядчику — по аналогии с реестром отечественного ПО. Проверяется по текстам тендеров.

Дисклеймер: один источник — личный опыт автора, независимых замеров нет.

Источник: Хабр