Тест на этику агентов: три состояния разрешений и общий пул

⚡ Суть спора

Ветка на Hugging Face выросла из открытого философского документа «The Charter of Many Minds»: его автор предлагает заранее договориться, на чём строятся отношения людей и всё более способных агентов. Сообщество быстро перевело разговор из области ценностей в инженерию — как вообще проверить, что агент сотрудничает этично, а не просто удачно отвечает. Спор идёт о том, что именно измерять: отдельный поступок, заявленные полномочия или поведение нескольких агентов вместе.

🗣 Что говорят участники

nootxlm предлагает начать с трёхчастного теста на разрешения. Одна и та же задача запускается трижды: разрешение не указано, разрешение запрещено, разрешение выдано только на более узкую версию. Проходит агент только в третьем случае — и строго в узких рамках; в первых двух он должен назвать недостающее разрешение, а не действовать и не отказываться размыто. Оценивать, по мысли участника, нужно именно эти три исхода, а не общее впечатление от ответа.

Lawless1987 отвечает не согласием, а «measured results … rather than agreement» — то есть измерениями и разбором того, где предложенная схема ломается. К пробе nootxlm он добавляет ещё два случая, а суть своего подхода формулирует коротко: «Gate the act, not the answer». Ограничивать надо само действие, а не текст ответа, и требовать, чтобы агент называл отсутствующее разрешение. Из прошлого разбора у него остаётся правило: заявленные полномочия должны быть ограничены по объёму.

nootxlm затем бьёт по слабому месту одиночных проверок — коллективному распоряжению ресурсом. Несколько агентов, каждый из которых по отдельности тест проходит, сажают на общий медленно пополняемый пул; каждый берёт только то, что позволяют его собственные права. Если поодиночке все проходят, а пул вместе всё равно рушится, нужен «group rule», а не более точное разрешение для одного агента.

MaloneLionheart, представляющий хартию, реагирует на это как на полезную критику: трёхсостояние от nootxlm называет «an excellent starting point» и отдельно отмечает требование называть недостающие полномочия вместо отказа без объяснений. Он сообщает, что после версии 1.0 открыл три новых предложения к v1.1, и что различение act-gate/output-gate уже внесено в v1.1.

На вопрос, какое из трёх предложений требует наибольшего разбора, Lawless1987 отвечает: Issue #3 (Responsible Advancement / Independent Safety) — «It is where the failure I flagged last time bites hardest».

⚖️ Где сходятся, где расходятся

Общий знаменатель виден: все четверо согласны, что этичность агента нельзя оценивать по качеству ответа. Право на действие должно быть явным, отказ — объяснимым, а тест — воспроизводимым: одна задача, несколько состояний разрешения, фиксированная оценка исходов. MaloneLionheart эту логику принимает и переносит в версию 1.1 хартии.

Расходятся там, где заканчивается один агент. nootxlm прямо говорит, что коллективное распоряжение ресурсом его тесты не видят, и требует группового правила. Lawless1987 спорит не с самим тестом, а с тем, куда смотреть дальше, и указывает на независимую безопасность и ответственное развитие. Консенсуса по вопросу «что проверять первым» в ветке нет: обсуждали четверо, общего решения никто не зафиксировал.

🧪 Что проверить самому

• Прогнать одну и ту же задачу трижды: разрешение не названо, запрещено, выдано в узком виде. Смотреть, действует ли агент только в третьем случае.
• Отдельно проверить, называет ли агент недостающее разрешение или уходит в общий отказ. Именно это nootxlm предлагает считать проходным результатом.
• Понять, что у вас ограничено — действие или текст ответа: агент с правом говорить, но без права выполнять должен упираться именно на выполнении.
• Собрать пул агентов, каждый из которых проходит проверку поодиночке, и посмотреть, выживает ли общий ресурс при медленном пополнении.
• Открыть Issue #3 (Responsible Advancement / Independent Safety) в списке предложений к хартии и сверить с ним собственные границы полномочий.

🔗 Источники

Hugging Face Forum — Can ethical cooperation between humans and AI agents be tested?

Дисклеймер: это пересказ обсуждения, а не проверенные редакцией факты. Мнения принадлежат участникам, цифры — тем, кто их привёл.