JEV от TypeSafe AI выбирает действие без генерации токенов: что внутри

⚡ Главное за 5 секунд

• TypeSafe AI сделала JEV — сеть, которая выбирает действие внутри кода, а не сочиняет текст.
• Разработчики зовут её первой моделью класса System One Models; открытый аналог — Laya.
• В разборе на Хабре Laya и Gemma 4 крутятся на своём сервере в сервисе на FastAPI.

🔍 Что случилось

Python-разработчик Алексей Яковенко написал для блога HOSTKEY большой разбор (54 минуты чтения) про JEV — сеть от TypeSafe AI. Она не ведёт диалог, не пишет код и не генерирует произвольный текст. Её задача — выбрать один вариант из заранее известного списка: дёрнуть RAG, сходить в поиск, вызвать API. Полный текст лежит на Хабре.

Механика простая и от этого неприятная для больших моделей. Обычная LLM даже на такой задаче выдаёт ответ токен за токеном. Structured Outputs, нативный Tool Calling и генерация по JSON Schema делают формат предсказуемым, но принцип авторегрессии не меняют. Отсюда вопрос автора: зачем генеративная модель там, где генерировать нечего. TypeSafe AI отвечает своим термином — System One Models, отсылка к Канеману: Система 1 быстрая и интуитивная, Система 2 медленная и вдумчивая.

Практическая часть — про другое. Берём открытый аналог JEV по имени Laya, ставим рядом Gemma 4 и собираем агента для новостей. Laya читает материал и решает, интересна ли тема. Дальше большая LLM анализирует текст, готовит статью и публикует её в блоге. Всё это живёт в сервисе на FastAPI: база данных, фоновый обработчик задач, собственный Agent Harness, веб-интерфейс для наблюдения за процессом. Без LangGraph и CrewAI — логика на чистом Python.

🧠 Наш разбор

Агенты выросли, и почти каждый их шаг — это выбор инструмента. За каждый такой выбор платят токенами и задержкой. Наша оценка: вынести роутинг в отдельную маленькую модель — разумно, классификация дешевле генерации. Но само название «System One» — красивая упаковка старой идеи. Роутеры и классификаторы в агентских пайплайнах живут давно, просто их не звали новым классом.

Что меняет ставка TypeSafe AI? Если JEV и её аналоги дают точность не хуже LLM при выборе из десяти вариантов, архитектура агентов перевернётся. Большая модель останется на сложное, мелкая заберёт рутину. Это прямой разговор про кошелёк: меньше токенов, меньше секунд ожидания, слабее зависимость от чужого API. Пока это обещание, а не замер — и вот здесь я бы притормозил.

Кто выигрывает? Те, кто строит агентов на своём железе: open-source Laya снимает привязку к одному вендору. Кто проигрывает? Похоже на то, что ниша «моделей решений» не достанется нишевым командам целиком. Крупные LLM-платформы скорее встроят такой роутер в свой API, чем отдадут кусок рынка наружу. Мы считаем, что через год это будет фича в подписке, а не отдельный продукт.

⚠️ Чего мы не знаем

В источнике нет ни размера моделей, ни цифр задержки, ни сравнения с тем же Tool Calling на одном и том же наборе задач. Не сказано, под какой лицензией выходит Laya и сколько ей нужно железа. Всё, что мы знаем о JEV, — со слов TypeSafe AI в пересказе автора туториала. Проверять придётся самому: прогнать роутер и LLM на своих задачах и сравнить точность, время и цену.

Прогноз: в течение квартала хотя бы одна крупная LLM-платформа добавит в API отдельный дешёвый роутер решений. Ниша уже описана, а открытые аналоги снижают порог входа.

Дисклеймер: один источник — разбор в блоге HOSTKEY; заявления о JEV идут от TypeSafe AI и независимыми тестами не подтверждены.

Источник: Хабр / HOSTKEY