# Sber AI Lab показала SIRIN и AutoJudge: детекция галлюцинаций в ИИ-агентах

> 2026-11-17 · AI Release · @ai_release1

> #Sber #галлюцинации #SIRIN #AutoJudge #мультиагентные #AI #нейросети #ИИагенты

### ⚡ Главное за 5 секунд - Sber AI Lab выложила разбор двух своих работ по контролю ошибок LLM — SIRIN и AutoJudge. - SIRIN описан как библиотека для детекции галлюцинаций: проверяет ответ целиком или отдельный фрагмент. - Точка проверки переехала: детектор встраивается в контур «контекст → ответ → действие», а не смотрит только финальный текст. ### 🔍 Что случилось Максим Макаренко, руководитель команды прикладных исследований Sber AI Lab, и старший исследователь Юлии Беликова опубликовали на Хабре статью о том, как меняется задача поиска ошибок в ИИ-системах. Речь о двух работах лаборатории — SIRIN и AutoJudge. SIRIN в тексте описан как библиотека для детекции галлюцинаций LLM. Механика важнее вывески. Пример из статьи: в контексте написано «в исследовании участвовали 120 человек», а модель отвечает «120 человек, поровну разделённых на контрольную и экспериментальную группы». Число взято из документа, разбиение придумано. Это и есть контекстная галлюцинация — ответ звучит правдоподобно и даже опирается на найденные документы, но часть утверждений из них не следует. Детектор либо оценивает ответ целиком, либо локализует конкретный неподтверждённый фрагмент; второй режим нужен для выборочной перегенерации и диагностики. Схема в статье выглядит так: контекст → LLM → ответ → детектор → принять, повторить или проверить. Дальше авторы раскладывают методы. Первое — оценка неопределённости: вероятности токенов, энтропия, согласованность нескольких генераций, скрытые состояния. Второе — поиск признаков галлюцинаций во внутренних представлениях модели. Третье — отдельная модель-судья. С честной оговоркой: уверенность не равна корректности, LLM умеет ошибаться очень уверенно. ### 🧠 Наш разбор Причина, по которой текст появился именно сейчас, лежит на поверхности. Пока LLM был чат-ботом, ошибку видел человек и мог её отмахнуть. Когда ответ уходит в память, становится входом следующего шага или триггером действия, отмахнуться некому. Наша оценка: сдвиг от «детекции галлюцинаций» к «контролю контура» — не терминологическая игра, а прямое следствие того, что агентные пайплайны перестали быть демо. Что это меняет на практике. Детектор в конвейере — это дополнительный вызов модели или прогон нескольких генераций на каждый ответ. По опыту такие проверки стоят латентности и денег, и в статье, насколько видно из доступного текста, этот счёт не выставлен. Второй эффект приятнее: появляется место, куда можно писать лог причины отказа. Для корпоративных RAG-систем это разница между «модель иногда врёт» и «мы знаем, на каком шаге и какой фрагмент не подтвердился». Кто выигрывает. Те, кто продаёт агентов в банки и крупный энтерпрайз: без воспроизводимого контроля их туда просто не пустят, как правило, из-за требований к объяснимости. Кто проигрывает — риторика «просто подключите модель, она сама разберётся». Мы считаем, что главный спор тут не про качество детекции, а про то, кто платит за неё латентностью. ### ⚠️ Чего мы не знаем В доступном фрагменте нет ни одной цифры: ни метрик на бенчмарках галлюцинаций, ни задержек, ни сравнения с открытыми детекторами. Про AutoJudge вообще нет деталей — только факт, что это вторая работа в том же цикле. Нет и данных, открыт ли код SIRIN, под какой лицензией и на каких моделях его гоняли. Всё это читателю придётся выяснять самому по полному тексту — и относиться к схеме «детектор → принять, повторить или проверить» как к архитектуре, а не как к измеренному результату. ### 💬 О чём спорить - Стоит ли встраивать детектор в каждый шаг агента, если это удорожает и замедляет весь конвейер, — или проверять только узловые точки? - Модель-судья против детектора на скрытых состояниях: чей вердикт вы бы пустили решать судьбу ответа, который уходит клиенту? - Кто должен отвечать за ошибку агента — разработчик пайплайна, поставщик модели или команда, написавшая промпт и подключившая инструменты? **Прогноз:** в течение квартала ждём от Sber AI Lab публичных чисел по SIRIN — репозиторий или бенчмарк с метриками. Без них сравнивать библиотеку с открытыми детекторами нечем, и разговор останется на уровне архитектурных схем. **Источник:** Habr / Блог компании Сбер

[Источник](https://habr.com/ru/companies/sberbank/articles/1104342/)
