Открытые веса давно перестали быть жестом доброй воли. Это способ занять рынок, пока конкуренты продают подписки. Пятое ноября Baidu сделала ровно это: выложила ERNIE 5.5 Flash Base на Hugging Face — базовую модель, на которую любой может накатить свой файнтюн.
Смесь экспертов: 280 млрд параметров всего, 14 млрд активных на каждый токен. Претрейн — 33.5 трлн токенов. Контекст на претрейне — 128K, на файнтюне и инференсе — до 1 млн токенов. Миллиона токенов в одном запросе хватает, чтобы залить корпус договоров и искать в нём дыру, а не пересказывать одну статью.
Baidu заявляет SOTA среди моделей своего размера по знаниям, рассуждениям, математике, коду, мультиязычности и длинному контексту. В списке тех, кого обошли, — DeepSeek-V4-Flash-Base, Hy3-preview-Base и MiMo-V2.5-Base. То есть речь о прямых конкурентах в той же весовой категории, а не о предыдущей версии самой себя.
Главная линия — эффективность. Внимание переделали: Latent-Gated Sparse Attention, внутри — гибрид разреженного внимания, низкорангового гейтинга и «виртуальных голов». Часть слоёв сжимает историю, часть ловит детали. HCA и MLA работают в паре. Плюс переделанный роутинг экспертов и тренировочный процесс.
Смысл простой: активировать 14 млрд параметров из 280 млрд дешевле, чем гонять всё целиком. На бумаге у тебя модель на 280 млрд, в счёте за инференс — только доля.
Пока западные лаборатории обсуждают, публиковать ли веса, китайские выкладывают их пачками и вместе с отчётом о бенчмарках. DeepSeek получил конкурента в собственной нише — дешёвая база под дообучение. Закрытые API-провайдеры получили вопрос от клиента: почему я плачу за токены, если рядом лежит база с миллионным контекстом и открытой лицензией?
Ответ у них есть: поддержка, безопасность, SLA. Но каждый месяц этот ответ стоит дороже.
Есть и вторая сторона. Бенчмарк — это то, что компания выбрала показать. Сравнение с DeepSeek-V4-Flash-Base и Hy3-preview-Base сделано на наборе задач, который Baidu считает правильным. Пока веса лежат в открытом доступе, любой прогонит свои тесты и получит другой результат. В этом и смысл открытых весов — они не дают монополии на цифру.
Источники: , Leiphone, веса — Hugging Face.
Прогноз: В течение месяца выйдет независимый прогон ERNIE 5.5 Flash Base, и спор сместится с бенчмарков на реальную цену инференса.
Дисклеймер: официального анонса в реестре источников нет, данные — из отраслевых изданий; официально не подтверждено
Источник: www.qbitai.com · пост в Telegram