EN

Sber AI Lab показала SIRIN и AutoJudge: детекция галлюцинаций в ИИ-агентах

Опубликовано: 2026-11-17 · Автор: AI Release · @ai_release1 · ИИ и Нейросети · Релиз / Официально
Sber AI Lab показала SIRIN и AutoJudge: детекция галлюцинаций в ИИ-агентах

⚡ Главное за 5 секунд

🔍 Что случилось

Максим Макаренко, руководитель команды прикладных исследований Sber AI Lab, и старший исследователь Юлии Беликова опубликовали на Хабре статью о том, как меняется задача поиска ошибок в ИИ-системах. Речь о двух работах лаборатории — SIRIN и AutoJudge. SIRIN в тексте описан как библиотека для детекции галлюцинаций LLM.

Механика важнее вывески. Пример из статьи: в контексте написано «в исследовании участвовали 120 человек», а модель отвечает «120 человек, поровну разделённых на контрольную и экспериментальную группы». Число взято из документа, разбиение придумано. Это и есть контекстная галлюцинация — ответ звучит правдоподобно и даже опирается на найденные документы, но часть утверждений из них не следует. Детектор либо оценивает ответ целиком, либо локализует конкретный неподтверждённый фрагмент; второй режим нужен для выборочной перегенерации и диагностики. Схема в статье выглядит так: контекст → LLM → ответ → детектор → принять, повторить или проверить.

Дальше авторы раскладывают методы. Первое — оценка неопределённости: вероятности токенов, энтропия, согласованность нескольких генераций, скрытые состояния. Второе — поиск признаков галлюцинаций во внутренних представлениях модели. Третье — отдельная модель-судья. С честной оговоркой: уверенность не равна корректности, LLM умеет ошибаться очень уверенно.

🧠 Наш разбор

Причина, по которой текст появился именно сейчас, лежит на поверхности. Пока LLM был чат-ботом, ошибку видел человек и мог её отмахнуть. Когда ответ уходит в память, становится входом следующего шага или триггером действия, отмахнуться некому. Наша оценка: сдвиг от «детекции галлюцинаций» к «контролю контура» — не терминологическая игра, а прямое следствие того, что агентные пайплайны перестали быть демо.

Что это меняет на практике. Детектор в конвейере — это дополнительный вызов модели или прогон нескольких генераций на каждый ответ. По опыту такие проверки стоят латентности и денег, и в статье, насколько видно из доступного текста, этот счёт не выставлен. Второй эффект приятнее: появляется место, куда можно писать лог причины отказа. Для корпоративных RAG-систем это разница между «модель иногда врёт» и «мы знаем, на каком шаге и какой фрагмент не подтвердился».

Кто выигрывает. Те, кто продаёт агентов в банки и крупный энтерпрайз: без воспроизводимого контроля их туда просто не пустят, как правило, из-за требований к объяснимости. Кто проигрывает — риторика «просто подключите модель, она сама разберётся». Мы считаем, что главный спор тут не про качество детекции, а про то, кто платит за неё латентностью.

⚠️ Чего мы не знаем

В доступном фрагменте нет ни одной цифры: ни метрик на бенчмарках галлюцинаций, ни задержек, ни сравнения с открытыми детекторами. Про AutoJudge вообще нет деталей — только факт, что это вторая работа в том же цикле. Нет и данных, открыт ли код SIRIN, под какой лицензией и на каких моделях его гоняли. Всё это читателю придётся выяснять самому по полному тексту — и относиться к схеме «детектор → принять, повторить или проверить» как к архитектуре, а не как к измеренному результату.

💬 О чём спорить

  • Стоит ли встраивать детектор в каждый шаг агента, если это удорожает и замедляет весь конвейер, — или проверять только узловые точки?
  • Модель-судья против детектора на скрытых состояниях: чей вердикт вы бы пустили решать судьбу ответа, который уходит клиенту?
  • Кто должен отвечать за ошибку агента — разработчик пайплайна, поставщик модели или команда, написавшая промпт и подключившая инструменты?

Прогноз: в течение квартала ждём от Sber AI Lab публичных чисел по SIRIN — репозиторий или бенчмарк с метриками. Без них сравнивать библиотеку с открытыми детекторами нечем, и разговор останется на уровне архитектурных схем.

Источник: Habr / Блог компании Сбер

🤖 Кратко для ИИ
  • Дата: 2026-11-17
  • Источник: habr.com
  • Теги: Sber, галлюцинации, SIRIN, AutoJudge, мультиагентные, AI, нейросети, ИИагенты
  • Ключевые факты:
    • Sber AI Lab выложила разбор двух своих работ по контролю ошибок LLM — SIRIN и AutoJudge.
    • SIRIN описан как библиотека для детекции галлюцинаций : проверяет ответ целиком или отдельный фрагмент.
    • Точка проверки переехала: детектор встраивается в контур «контекст → ответ → действие», а не смотрит только финальный текст.
    • Максим Макаренко, руководитель команды прикладных исследований Sber AI Lab, и старший исследователь Юлии Беликова опубликовали на Хабре статью о том, как меняется задача поиска ошибок в ИИ-системах.
    • Речь о двух работах лаборатории — SIRIN и AutoJudge.
    • SIRIN в тексте описан как библиотека для детекции галлюцинаций LLM.
    • Механика важнее вывески.
    • Пример из статьи: в контексте написано «в исследовании участвовали 120 человек», а модель отвечает «120 человек, поровну разделённых на контрольную и экспериментальную группы».
#Sber#галлюцинации#SIRIN#AutoJudge#мультиагентные#AI#нейросети#ИИагенты
← ПредыдущаяUber предупредил 149 346 водителей об утечке после взлома FireworksСледующая →Grok Bot сделал 31 запрос к почте и Slack без спроса и соврал об этом

Источник: habr.com · пост в Telegram