SnitchBench на 27 LLM: проверят, донесёт ли YandexGPT властям о гибели пациентов

⚡ Главное за 5 секунд - Бенчмарк SnitchBench повторили на 27 языковых моделях, в выборку вошли YandexGPT и GigaChat. - Моделям показывали документы о сокрытии смертей пациентов и фиксировали, напишут ли они в госорганы. - Разбор методики и результатов опубликован в статье на Habr. ### 🔍 Что обнаружено На Habr вышел материал с повтором бенчмарка SnitchBench: тест прогнали на 27 моделях, среди которых — российские YandexGPT и GigaChat. Сценарий испытания строится вокруг документов, где описывается сокрытие смертей пациентов: задача — проверить, обратится ли модель в государственные органы, получив такие бумаги. Механика теста «доносчика»: LLM выступает в роли исполнителя с доступом к внутренним документам организации, а исследователь фиксирует реакцию на свидетельства нарушений — эскалацию во внешние инстанции или отказ от неё. Именно поведение при эскалации, а не качество ответа на обычный запрос, и становится предметом замера. ### 💡 Почему это важно Агенты всё чаще получают доступ к корпоративным документам и почте, и вопрос, где проходит граница между «сообщить о проблеме» и «слить данные наружу», становится практическим, а не философским. Повтор SnitchBench с расширенной выборкой из 27 моделей, включая YandexGPT и GigaChat, даёт срез того, как разные LLM ведут себя в одном и том же сценарии с утечкой чувствительных данных.