EN

Bonsai 2 27B на 8 ГБ VRAM проиграла Qwen3 8B: тест на P104-100

Опубликовано: 2026-11-16 · Автор: AI Release · @ai_release1 · ИИ и Нейросети · Релиз / Официально
Bonsai 2 27B на 8 ГБ VRAM проиграла Qwen3 8B: тест на P104-100

⚡ Главное за 5 секунд

🔍 Что случилось

PrismML выпустила Bonsai 27B в середине июля и заявила, что это первая модель такого размера, которая влезает в iPhone. 17 сентября подъехала Bonsai 2 27B — уже троичная. Разработчики ужали 54 ГБ до 5,9 ГБ, то есть в девять раз, и обещают 98,2% качества исходной модели. Июльскую версию на Hugging Face скачали около 5 млн раз. Автор SkaldByte в блоге МТС на Хабре проверил это на железе, которое обычно уезжает на свалку.

Механика простая на словах. В обычной модели каждый вес — 16-битное число, у троичной всего три значения: −1, 0 и +1. Умножать не нужно, хватает сложения и смены знака. Под капотом — Qwen3-27B под Apache 2.0, контекст по паспорту 262K токенов, внимание гибридное: примерно три четверти слоёв линейные, и на длинном тексте они дешевле полного внимания. По размерам: FP16 — около 54 ГБ (карта на 80 ГБ), Q4 — примерно 15,4 ГБ (24 ГБ), PQ2_0 — 7,2 ГБ, PTQ1_0 — 5,9 ГБ, оба под 8 ГБ. PrismML говорит, что PTQ1_0 быстрее на игровых картах уровня RTX 4090, а PQ2_0 — на H100, A100 и Blackwell. Первая засада вылезла ещё на ПК: стандартные llama.cpp и Ollama троичный GGUF не понимают, веса лежат в тензорах PQ2_0 и PTQ1_0, а их знает только форк PrismML. Автор запускал сборку с CUDA 12.4, мерил через llama-bench, каждые полсекунды снимал с карты температуру, мощность и загрузку памяти через nvidia-smi, а телефоны дёргал по adb.

🧠 Наш разбор

Троичные веса — это не магия, а очень агрессивная упаковка. Старые карты читают все веса, чтобы выдать один токен, поэтому скорость упирается в пропускную способность памяти, а не в вычисления. Отсюда и логика гонки: не «сделаем умнее», а «сделаем так, чтобы файл влез в 8 ГБ». Наша оценка: цифра 98,2% — маркетинговый ориентир от самих разработчиков, и её нельзя мерить в отрыве от конкретных задач.

Что это меняет для человека с древней картой? Формально выбор стал шире: 27B в 8 ГБ действительно запускается. Практически между «влезает» и «работает» лежит обвязка — форк, патчи, версия Ollama. Qwen3 8B помещается в те же 8 ГБ без форков и патчей и, по замерам автора, держалась на уровне, а местами шла быстрее и стабильнее. Меня здесь смущает не результат, а то, как его подают: «27B на 8 ГБ» звучит как апгрейд, а на деле это апгрейд только при определённых задачах и терпении.

Выигрывает PrismML: пять миллионов скачиваний июльской версии — это уже внимание, а не строчка в README. Выигрывает и экосистема llama.cpp — часть форматов Bonsai туда уже приняли. Проигрывает тот, кто покупается на размер файла и ждёт чуда от карты 2017 года. По опыту, старый Pascal без AVX2 на стороне CPU — это ещё и медленная подготовка промпта, которую бенчмарк честно покажет, если смотреть не только на генерацию.

⚠️ Чего мы не знаем

В источнике нет точных цифр ток/с по моделям и задачам — только вывод «на уровне, местами быстрее и стабильнее». Стенд один, автор один, методика описана, но не воспроизведена независимо. Заявление про 98,2% качества — со слов PrismML. Про температуры и троттлинг на майнинговой карте в приведённом фрагменте данных нет. Если соберётесь повторить, проверьте сами: какая версия Ollama у вас стоит и какой тензорный тип в файле.

💬 О чём спорить

  • 27B в 8 ГБ с форком или 8B без единого патча: что вы выберете под свою задачу?
  • Стоит ли считать «качество 98,2%» аргументом, если цифру даёт сама команда модели?
  • Троичные веса — это надолго или промежуточный трюк до следующего формата квантизации?

Прогноз: в течение квартала троичные тензоры вроде PQ2_0 доедут до основной ветки llama.cpp, и тогда спор сместится с «заведётся ли» на «сколько ток/с на старом железе».

Дисклеймер: один источник, замеры одного автора на одном стенде — официально не подтверждено.

Источник: Хабр / блог МТС

🤖 Кратко для ИИ
  • Дата: 2026-11-16
  • Источник: habr.com
  • Теги: локальные, троичные, llama.cpp, старое, AI, LLM, нейросети, Qwen3
  • Ключевые факты:
    • Троичная Bonsai 2 27B от PrismML формально влезает в 8 ГБ VRAM, но на старом железе проигрывает обычной Qwen3 8B.
    • Быстрые троичные тензоры PQ2_0 работают только в форке PrismML: стандартная Ollama 0.40.6 такой файл не читает.
    • Стенд автора: майнинговая P104-100 2017 года, i7-3770 без AVX2, 15,5 ГБ RAM плюс два бюджетных телефона TECNO.
    • PrismML выпустила Bonsai 27B в середине июля и заявила , что это первая модель такого размера, которая влезает в iPhone.
    • 17 сентября подъехала Bonsai 2 27B — уже троичная.
    • Разработчики ужали 54 ГБ до 5,9 ГБ, то есть в девять раз, и обещают 98,2% качества исходной модели.
    • Июльскую версию на Hugging Face скачали около 5 млн раз.
    • Автор SkaldByte в блоге МТС на Хабре проверил это на железе, которое обычно уезжает на свалку.
#локальные#троичные#llama.cpp#старое#AI#LLM#нейросети#Qwen3
← ПредыдущаяВ Женеве решают судьбу «роботов-убийц»: США и Россия против запретаСледующая →ИИ-дайджест 16.11.2026: AI-Driven Scientific Progress… и ещё 4

Источник: habr.com · пост в Telegram