Максим Макаренко, руководитель команды прикладных исследований Sber AI Lab, и старший исследователь Юлии Беликова опубликовали на Хабре статью о том, как меняется задача поиска ошибок в ИИ-системах. Речь о двух работах лаборатории — SIRIN и AutoJudge. SIRIN в тексте описан как библиотека для детекции галлюцинаций LLM.
Механика важнее вывески. Пример из статьи: в контексте написано «в исследовании участвовали 120 человек», а модель отвечает «120 человек, поровну разделённых на контрольную и экспериментальную группы». Число взято из документа, разбиение придумано. Это и есть контекстная галлюцинация — ответ звучит правдоподобно и даже опирается на найденные документы, но часть утверждений из них не следует. Детектор либо оценивает ответ целиком, либо локализует конкретный неподтверждённый фрагмент; второй режим нужен для выборочной перегенерации и диагностики. Схема в статье выглядит так: контекст → LLM → ответ → детектор → принять, повторить или проверить.
Дальше авторы раскладывают методы. Первое — оценка неопределённости: вероятности токенов, энтропия, согласованность нескольких генераций, скрытые состояния. Второе — поиск признаков галлюцинаций во внутренних представлениях модели. Третье — отдельная модель-судья. С честной оговоркой: уверенность не равна корректности, LLM умеет ошибаться очень уверенно.
Причина, по которой текст появился именно сейчас, лежит на поверхности. Пока LLM был чат-ботом, ошибку видел человек и мог её отмахнуть. Когда ответ уходит в память, становится входом следующего шага или триггером действия, отмахнуться некому. Наша оценка: сдвиг от «детекции галлюцинаций» к «контролю контура» — не терминологическая игра, а прямое следствие того, что агентные пайплайны перестали быть демо.
Что это меняет на практике. Детектор в конвейере — это дополнительный вызов модели или прогон нескольких генераций на каждый ответ. По опыту такие проверки стоят латентности и денег, и в статье, насколько видно из доступного текста, этот счёт не выставлен. Второй эффект приятнее: появляется место, куда можно писать лог причины отказа. Для корпоративных RAG-систем это разница между «модель иногда врёт» и «мы знаем, на каком шаге и какой фрагмент не подтвердился».
Кто выигрывает. Те, кто продаёт агентов в банки и крупный энтерпрайз: без воспроизводимого контроля их туда просто не пустят, как правило, из-за требований к объяснимости. Кто проигрывает — риторика «просто подключите модель, она сама разберётся». Мы считаем, что главный спор тут не про качество детекции, а про то, кто платит за неё латентностью.
В доступном фрагменте нет ни одной цифры: ни метрик на бенчмарках галлюцинаций, ни задержек, ни сравнения с открытыми детекторами. Про AutoJudge вообще нет деталей — только факт, что это вторая работа в том же цикле. Нет и данных, открыт ли код SIRIN, под какой лицензией и на каких моделях его гоняли. Всё это читателю придётся выяснять самому по полному тексту — и относиться к схеме «детектор → принять, повторить или проверить» как к архитектуре, а не как к измеренному результату.
Прогноз: в течение квартала ждём от Sber AI Lab публичных чисел по SIRIN — репозиторий или бенчмарк с метриками. Без них сравнивать библиотеку с открытыми детекторами нечем, и разговор останется на уровне архитектурных схем.
Источник: Habr / Блог компании Сбер
Источник: habr.com · пост в Telegram