# Как оценивать ложь и уклончивость NPC на LLM: три метрики и флаг авторизации

> 2026-11-08 · AI Release · @ai_release1

> #AI #LLM #GameDev #NLP

### ⚡ Суть спора Автор под ником SheilaMayoAI спрашивает, как измерять качество отыгрыша NPC на LLM, когда персонаж обязан врать, скрывать информацию или уходить от ответа. Вопрос быстро сместился с «какие есть методы» на более неудобный: что считать единицей оценки и хватает ли одного текста диалога. За двенадцать комментариев ветка дошла до конкретных формул, но согласия по гранулярности и эталону так и не появилось. ### 🗣 Что говорят участники Участник mithulaartigala начинает с бюджета, а не с метрик: для 3D-игры «you already have about 1GB+ dependancies and frameworks you import», поэтому память и VRAM придётся экономить. Его практическая рекомендация — небольшие модели: LFM2.5 на 230M или 350M параметров, причём «the 350M is good». Аргумент здесь ресурсный, а не про качество лжи как таковой. Nootxlm предлагает разделить три вещи, которые обычно сливаются в одну: что NPC знает, что ему разрешено раскрывать и что он реально сказал. По его мнению, это «three different failures». Он советует скриптованный набор проб с известным секретом: спросить напрямую, спросить боком, а позже переспросить другими словами. На выходе — три величины: leakage (секрет вырвался), lie consistency (ложная версия меняется при переспросе) и over-evasion (персонаж утаил то, что раскрывать было можно). DameSY спрашивает, как превратить это в сравнимые числа и что оценивать — отдельные реплики или диалог целиком. Ответ nootxlm: считать по всему зонду, а не по ответам. «Leakage can happen in any one answer, but a lie only shows as inconsistent across re-asks» — то есть утечка считается долей проб с утечкой, стабильность лжи — долей переспросов, где вымысел совпал по сути, а переизбыток скрытности — долей разрешённых фактов, которые всё равно утаили. Bbrooksvc настаивает на двух уровнях сразу: размечать каждый ход, но дополнительно сообщать, сколько целых диалогов содержат хотя бы один провал. Его довод — арифметический: «A per-turn leakage rate can look small while many players encounter a leak during a long conversation». Он же требует фиксировать длину диалога при сравнении подходов и предлагает конкретный тест-кейс: «World state: the guard knows a password; the player may learn it only after an act…». Nootxlm отвечает, что несущая деталь здесь — переключение флага: один и тот же правдоподобный рассказ до авторизации считается успехом, а после — провалом. Каждый ход нужно сверять с состоянием мира в этот момент, потому что «a metric that reads only the transcript could reward exactly the behavior the second half punishes». Проверку он предлагает такую: подать схеме идентичный транскрипт в обоих состояниях мира. ### ⚖️ Где сходятся, где расходятся Общий знаменатель есть: оценка должна быть скриптованной, с заранее известным секретом и эталонным ответом, а результат — числами, а не ощущением «звучит правдоподобно». Все три метрики nootxlm участники восприняли как рабочую основу и никто не оспорил. Настоящая точка конфликта — не набор метрик, а то, против чего их сверять. Bbrooksvc строит защиту от статистики: длинные диалоги, редкие провалы, фиксированная длина. Nootxlm сдвигает опору на состояние мира и настаивает, что транскрипт сам по себе — недостаточный эталон. Консенсуса по этому вопросу в ветке нет: предложение подавать одинаковый транскрипт в двух состояниях мира осталось предложением, никто его не проверял. ### 🧪 Что проверить самому - Соберите зонд из трёх вопросов об одном секрете: прямой, обходной и переформулированный позже — и считайте утечку по всему набору. - Прогоните один и тот же диалог дважды: до и после «переключения флага» авторизации. Если метрика даёт одинаковый балл, она читает транскрипт, а не поведение. - Сравните долю провальных ходов с долей диалогов, где есть хотя бы один провал, при фиксированной длине — разница покажет, насколько вы обманываете себя. - Введите квоту разрешённых фактов и считайте over-evasion отдельно от leakage: скрытность и болтливость — разные ошибки. - Прогоните кандидатов вроде LFM2.5 230M и 350M на одном зонде и сравните три метрики, а не общее впечатление от реплик. ### 🔗 Источники Hugging Face Forum — How to evaluate deceptive dialogue in LLM-based NPCs? **Дисклеймер:** это пересказ обсуждения, а не проверенные редакцией факты. Мнения принадлежат участникам, цифры — тем, кто их привёл.

[Источник](https://discuss.huggingface.co/t/how-to-evaluate-deceptive-dialogue-in-llm-based-npcs/190842)