LibLayaX: быстрые локальные ИИ-решения через C API внутри приложения

⚡ Главное за 5 секунд - Суть: LibLayaX версии 1.0.15 запускает модель Laya прямо в процессе вашего приложения как обычную библиотеку: ИИ-решение становится вызовом функции, без сервера и облака. - Где доступно: Windows x64/ARM64, Linux x86-64/ARM64, macOS на Apple Silicon и Intel. CPU работает везде, GPU — через Vulkan на Windows, Linux и Apple Silicon. - Ограничение: библиотека не включает саму модель: веса нужно скачивать отдельно из Hugging Face, для английской версии это около 800 МБ. Проект неофициальный и не одобрен авторами Laya или laya.cpp. ### 🔍 Что обнаружено Проект DaragonTech/LibLayaX — это неофициальная C API-библиотека, построенная на движке laya.cpp. Она исполняет Laya — трансформерную нейросеть для принятия решений (ModernBERT-large для английского, mmBERT для 100+ языков), которая за один проход по тексту возвращает ответ с вероятностью. Laya не генерирует текст, как чат-модели, а сразу выдаёт метку или число: «это запрос на возврат — да/нет», «какой из интентов здесь», «насколько зол клиент по шкале». Один проход вместо генерации токенов и даёт основную скорость. В бенчмарке laya-bench с английской моделью и батчами по 16 вопросов NVIDIA RTX 5080 Laptop GPU на Vulkan fp16 выдаёт около 670 вопросов в секунду (1,5 мс на вопрос), fp32 — около 230. Intel Core Ultra 9 275HX на CPU — около 21 вопроса в секунду, Apple M3 Ultra через Vulkan на Metal в bf16 — 170, на CPU — 14. Одиночный вопрос на M3 Ultra занимает 29 мс на GPU и 76 мс на CPU. Загрузка модели — примерно секунда, на CPU потребляется около 1,7 ГБ памяти. В half-precision вероятности отклоняются от CPU-результатов примерно на 0,003. ### 💡 Почему это важно Такой подход превращает ИИ в инструмент, который живёт внутри софта, а не в чат-окне: маршрутизация тикета поддержки, проверка сообщения, решение о том, нужен ли документу ревью. Это быстро настолько, чтобы встать в путь запроса или обрабатывать backlog из тысяч элементов, а ответ приходит как готовая метка или число, а не как текст для разбора. Десять простых C-функций с JSON на входе и выходе можно вызывать из C, C++, Delphi, Rust, Lua, C#, Python, Go, Java и любых других языков, умеющих загружать разделяемую библиотеку. Единый набор функций и одинаковые JSON-запросы на всех платформах означают, что интеграция пишется один раз и переносится на остальные цели. Текст не покидает машину, всё работает офлайн, нет ни оплаты за вызовы, ни отдельного процесса для развёртывания. ### 🧩 Контекст Существующие реализации Laya не предназначены для встраивания в чужое приложение: оригинальная Python-библиотека требует Python и PyTorch, а laya.cpp — нативный C++ порт на ggml — является командной утилитой и HTTP-сервером. Приложению пришлось бы запускать, мониторить и обслуживать отдельный процесс. LibLayaX закрывает этот разрыв, превращая движок laya.cpp в один файл библиотеки. Модель при этом не входит в состав: веса публикуются проектом Laya на Hugging Face в репозитории convaiinnovations/laya, и нужны пять файлов, включая model.safetensors, rl_agent_config.json и файлы токенизатора. Доступны три варианта: english, multilingual и typed-decisions. Сам LibLayaX — независимый проект и не является частью Laya или laya.cpp.

🔗 Читать на github.com