# Ру-Жев 1.3 стал понимать незнакомые названия категорий — но не аббревиатуры

> 2026-11-08 · AI Release · @ai_release1

> #Ру-Жев #NLP #открытые #классификация #калибровка #RuBERT #нейросети #MachineLearning

### ⚡ Главное за 5 секунд - Ру-Жев 1.3 вышла с новой аугментацией: у каждой метки теперь несколько форм названия, и модель учится на случайной из них. - Веса и код — MIT, репозиторий besktech/ru-jev на Hugging Face, работает на процессоре и ставится в закрытый контур. - На аббревиатурах и кодах прирост нулевой, а температурную калибровку на своих данных придётся подбирать заново через `fit_temperature.py`. ### 🔍 Что случилось Автор под ником vladimirbesk выложил версию 1.3 модели Ру-Жев — открытой модели типизированных решений для русскоязычного текста ( Хабр ). Текст она не пишет. На входе — контекст и набор вариантов, на выходе — вероятность каждого варианта и один выбранный. Форм решения три: да или нет, выбор из набора, порядковая шкала. Внутри — поточечный кросс-энкодер. Каждая пара «контекст плюс вариант» идёт отдельным проходом через энкодер mmBERT-base: 307 млн параметров, из них 110 млн вне матрицы эмбеддингов. Дальше softmax по вариантам и температурная калибровка сверху. Отсюда два следствия: порядок вариантов на ответ не влияет, зато время растёт вместе с их числом — на 18 вариантах модель медленнее тех, кто читает все варианты за один проход. Что поменялось в 1.3. Версия 1.1 видела каждый сценарий маршрутизации в двух формах — английский ключ и русское слово. В 1.3 у метки несколько форм, и на каждый обучающий пример берётся одна случайно. У интентов MASSIVE (60 меток) их четыре: английский ключ, русская метка, ключ кириллицей по правилу транслитерации и усечённая форма этого ключа. У сценариев MASSIVE (18 меток) — три. У токсичности пять формулировок двух меток вместо одной, у тональности отзывов пять, у оценки отзывов четыре. Плюс автор поправил нарезку валидации и поднял число эпох с трёх до четырёх, так что чистой абляцией сравнение не назвать — сам он это признаёт. Проверял на одних и тех же 1000 вопросах из валидационного сплита сценариев MASSIVE. Менялись только названия сценариев. Итог: на незнакомых названиях-словах, обычных или заимствованных, 1.3 точнее 1.1. На аббревиатурах и кодах выигрыша нет. ### 🧠 Наш разбор Меня здесь цепляет не столько прирост, сколько сама постановка. Автор держит классификаторы в системе обработки обращений граждан, где каждое предсказание проверяет оператор. Узкое место — не модель, а эта проверка. Порог уверенности пускает часть ответов автоматом, и работает он ровно настолько, насколько откалибрована вероятность. Поэтому аугментация названий меток — не косметика, а попытка сделать так, чтобы метку можно было переименовать и не переобучать всё заново. Цифры калибровки выглядят прилично. При 50% самых уверенных ответов порог 0.85, точность 0.967, 33 ошибки на 1000. При 90% ответов порог падает до 0.54, точность до 0.859, ошибок уже 141. Это 13 373 решения, и температура подбиралась на другой половине валидации. Но те же строки участвовали в выборе эпохи, так что цифры оптимистичны — наша оценка: реальный потолок будет ниже, вопрос только насколько. Кому это нужно? Тем, кто вставляет классификатор в закрытый контур на обычном железе и не хочет гонять LLM ради «да/нет» и выбора из списка. Мы считаем, что рынок таких маленьких моделей решений недооценён: все смотрят на генерацию, а рутина — это разметка обращений, маршрутизация тикетов, проверка токсичности. Проигрывают здесь, по-моему, облачные API-обёртки: 300-мегабайтная модель на CPU и без сети — сильный аргумент для госсектора и промышленности. И отдельно про имя: Ру-Жев отсылает к коммерческой Jev от TypeSafe AI, но автор прямо пишет — связи нет, на ответах Jev модель не училась, API не вызывался. ### ⚠️ Чего мы не знаем Слабое место в источнике — методика. Автор честно говорит: строгой абляцией разница не подтверждена, потому что между версиями поменялись нарезка валидации и расписание шага обучения. Значит, часть прироста может приходиться не на аугментацию. Отдельно смущает переносимость: на незнакомых метках и новых доменах выложенная температура не работает, её надо подбирать заново на нескольких сотнях своих строк. И ещё: все замеры — самооценка одного человека, независимых прогонов нет. ### 💬 О чём спорить Модель решений на CPU против LLM с промптом: где проходит граница, после которой проще взять генеративную модель и не возиться с калибровкой? Стоит ли доверять порогу 0.85 при точности 0.967, если цифры получены на валидации, которая участвовала в выборе эпохи? Многоформные метки: это реальный способ пережить переименование категорий или просто более шумная аугментация, которая на аббревиатурах всё равно не спасает? **Прогноз:** в течение квартала ждите форков besktech/ru-jev под конкретные домены — с чужими `fit_temperature.py` и своими формулировками меток. Сбудется, если хотя бы один закрытый контур выложит результаты публично. **Дисклеймер:** один источник — статья автора модели; независимых замеров нет, официального подтверждения третьей стороны тоже. **Источник:** Хабр

[Источник](https://habr.com/ru/articles/1104810/)