# Bonsai 2 27B на 8 ГБ VRAM проиграла Qwen3 8B: тест на P104-100

> 2026-11-16 · AI Release · @ai_release1

> #локальные #троичные #llama.cpp #старое #AI #LLM #нейросети #Qwen3

### ⚡ Главное за 5 секунд - Троичная Bonsai 2 27B от PrismML формально влезает в 8 ГБ VRAM, но на старом железе проигрывает обычной Qwen3 8B. - Быстрые троичные тензоры PQ2_0 работают только в форке PrismML: стандартная Ollama 0.40.6 такой файл не читает. - Стенд автора: майнинговая P104-100 2017 года, i7-3770 без AVX2, 15,5 ГБ RAM плюс два бюджетных телефона TECNO. ### 🔍 Что случилось PrismML выпустила Bonsai 27B в середине июля и заявила, что это первая модель такого размера, которая влезает в iPhone. 17 сентября подъехала Bonsai 2 27B — уже троичная. Разработчики ужали 54 ГБ до 5,9 ГБ, то есть в девять раз, и обещают 98,2% качества исходной модели. Июльскую версию на Hugging Face скачали около 5 млн раз. Автор SkaldByte в блоге МТС на Хабре проверил это на железе, которое обычно уезжает на свалку. Механика простая на словах. В обычной модели каждый вес — 16-битное число, у троичной всего три значения: −1, 0 и +1. Умножать не нужно, хватает сложения и смены знака. Под капотом — Qwen3-27B под Apache 2.0, контекст по паспорту 262K токенов, внимание гибридное: примерно три четверти слоёв линейные, и на длинном тексте они дешевле полного внимания. По размерам: FP16 — около 54 ГБ (карта на 80 ГБ), Q4 — примерно 15,4 ГБ (24 ГБ), PQ2_0 — 7,2 ГБ, PTQ1_0 — 5,9 ГБ, оба под 8 ГБ. PrismML говорит, что PTQ1_0 быстрее на игровых картах уровня RTX 4090, а PQ2_0 — на H100, A100 и Blackwell. Первая засада вылезла ещё на ПК: стандартные llama.cpp и Ollama троичный GGUF не понимают, веса лежат в тензорах PQ2_0 и PTQ1_0, а их знает только форк PrismML. Автор запускал сборку с CUDA 12.4, мерил через `llama-bench`, каждые полсекунды снимал с карты температуру, мощность и загрузку памяти через `nvidia-smi`, а телефоны дёргал по `adb`. ### 🧠 Наш разбор Троичные веса — это не магия, а очень агрессивная упаковка. Старые карты читают все веса, чтобы выдать один токен, поэтому скорость упирается в пропускную способность памяти, а не в вычисления. Отсюда и логика гонки: не «сделаем умнее», а «сделаем так, чтобы файл влез в 8 ГБ». Наша оценка: цифра 98,2% — маркетинговый ориентир от самих разработчиков, и её нельзя мерить в отрыве от конкретных задач. Что это меняет для человека с древней картой? Формально выбор стал шире: 27B в 8 ГБ действительно запускается. Практически между «влезает» и «работает» лежит обвязка — форк, патчи, версия Ollama. Qwen3 8B помещается в те же 8 ГБ без форков и патчей и, по замерам автора, держалась на уровне, а местами шла быстрее и стабильнее. Меня здесь смущает не результат, а то, как его подают: «27B на 8 ГБ» звучит как апгрейд, а на деле это апгрейд только при определённых задачах и терпении. Выигрывает PrismML: пять миллионов скачиваний июльской версии — это уже внимание, а не строчка в README. Выигрывает и экосистема llama.cpp — часть форматов Bonsai туда уже приняли. Проигрывает тот, кто покупается на размер файла и ждёт чуда от карты 2017 года. По опыту, старый Pascal без AVX2 на стороне CPU — это ещё и медленная подготовка промпта, которую бенчмарк честно покажет, если смотреть не только на генерацию. ### ⚠️ Чего мы не знаем В источнике нет точных цифр ток/с по моделям и задачам — только вывод «на уровне, местами быстрее и стабильнее». Стенд один, автор один, методика описана, но не воспроизведена независимо. Заявление про 98,2% качества — со слов PrismML. Про температуры и троттлинг на майнинговой карте в приведённом фрагменте данных нет. Если соберётесь повторить, проверьте сами: какая версия Ollama у вас стоит и какой тензорный тип в файле. ### 💬 О чём спорить - 27B в 8 ГБ с форком или 8B без единого патча: что вы выберете под свою задачу? - Стоит ли считать «качество 98,2%» аргументом, если цифру даёт сама команда модели? - Троичные веса — это надолго или промежуточный трюк до следующего формата квантизации? **Прогноз:** в течение квартала троичные тензоры вроде PQ2_0 доедут до основной ветки llama.cpp, и тогда спор сместится с «заведётся ли» на «сколько ток/с на старом железе». **Дисклеймер:** один источник, замеры одного автора на одном стенде — официально не подтверждено. **Источник:** Хабр / блог МТС

[Источник](https://habr.com/ru/companies/ru_mts/articles/1107236/)
