PrismML выпустила Bonsai 27B в середине июля и заявила, что это первая модель такого размера, которая влезает в iPhone. 17 сентября подъехала Bonsai 2 27B — уже троичная. Разработчики ужали 54 ГБ до 5,9 ГБ, то есть в девять раз, и обещают 98,2% качества исходной модели. Июльскую версию на Hugging Face скачали около 5 млн раз. Автор SkaldByte в блоге МТС на Хабре проверил это на железе, которое обычно уезжает на свалку.
Механика простая на словах. В обычной модели каждый вес — 16-битное число, у троичной всего три значения: −1, 0 и +1. Умножать не нужно, хватает сложения и смены знака. Под капотом — Qwen3-27B под Apache 2.0, контекст по паспорту 262K токенов, внимание гибридное: примерно три четверти слоёв линейные, и на длинном тексте они дешевле полного внимания. По размерам: FP16 — около 54 ГБ (карта на 80 ГБ), Q4 — примерно 15,4 ГБ (24 ГБ), PQ2_0 — 7,2 ГБ, PTQ1_0 — 5,9 ГБ, оба под 8 ГБ. PrismML говорит, что PTQ1_0 быстрее на игровых картах уровня RTX 4090, а PQ2_0 — на H100, A100 и Blackwell. Первая засада вылезла ещё на ПК: стандартные llama.cpp и Ollama троичный GGUF не понимают, веса лежат в тензорах PQ2_0 и PTQ1_0, а их знает только форк PrismML. Автор запускал сборку с CUDA 12.4, мерил через llama-bench, каждые полсекунды снимал с карты температуру, мощность и загрузку памяти через nvidia-smi, а телефоны дёргал по adb.
Троичные веса — это не магия, а очень агрессивная упаковка. Старые карты читают все веса, чтобы выдать один токен, поэтому скорость упирается в пропускную способность памяти, а не в вычисления. Отсюда и логика гонки: не «сделаем умнее», а «сделаем так, чтобы файл влез в 8 ГБ». Наша оценка: цифра 98,2% — маркетинговый ориентир от самих разработчиков, и её нельзя мерить в отрыве от конкретных задач.
Что это меняет для человека с древней картой? Формально выбор стал шире: 27B в 8 ГБ действительно запускается. Практически между «влезает» и «работает» лежит обвязка — форк, патчи, версия Ollama. Qwen3 8B помещается в те же 8 ГБ без форков и патчей и, по замерам автора, держалась на уровне, а местами шла быстрее и стабильнее. Меня здесь смущает не результат, а то, как его подают: «27B на 8 ГБ» звучит как апгрейд, а на деле это апгрейд только при определённых задачах и терпении.
Выигрывает PrismML: пять миллионов скачиваний июльской версии — это уже внимание, а не строчка в README. Выигрывает и экосистема llama.cpp — часть форматов Bonsai туда уже приняли. Проигрывает тот, кто покупается на размер файла и ждёт чуда от карты 2017 года. По опыту, старый Pascal без AVX2 на стороне CPU — это ещё и медленная подготовка промпта, которую бенчмарк честно покажет, если смотреть не только на генерацию.
В источнике нет точных цифр ток/с по моделям и задачам — только вывод «на уровне, местами быстрее и стабильнее». Стенд один, автор один, методика описана, но не воспроизведена независимо. Заявление про 98,2% качества — со слов PrismML. Про температуры и троттлинг на майнинговой карте в приведённом фрагменте данных нет. Если соберётесь повторить, проверьте сами: какая версия Ollama у вас стоит и какой тензорный тип в файле.
Прогноз: в течение квартала троичные тензоры вроде PQ2_0 доедут до основной ветки llama.cpp, и тогда спор сместится с «заведётся ли» на «сколько ток/с на старом железе».
Дисклеймер: один источник, замеры одного автора на одном стенде — официально не подтверждено.
Источник: Хабр / блог МТС
Источник: habr.com · пост в Telegram