Ветка на Hugging Face Forum (47 ответов, 32 лайка, 1210 просмотров) началась с поста Jang-woo о третьей оси доверия к ИИ — после возможностей и разрешений. Участники спорят, чем заменить вопрос «почему модель так поступила»: сама модель своего пути исполнения не видит. Дальше расходятся в главном — где ставить детерминированную границу и как оценивать агента, который сделал правильно по случайности.
Автор темы Jang-woo строит аргумент на конкретном случае: на вопрос, откуда она знает о сообщениях пользователя, Muse сослалась на превью уведомлений на его Mac, и Meta признала, что модель описала собственную функцию неверно. Вывод автора: «The model was not lying. It does not know its own execution path». Отсюда и главный тезис: нынешние инциденты случились не потому, что модель слишком способная, а потому, что «nothing was managed».
Ernst03 отвечает метафорой из авиации — «building the airplane while in flight» — и считает, что скорость внедрения ИИ в американское общество слишком высока для консервативной части аудитории; сейчас, по его мнению, идёт фаза рефлексии: «OpenAI 6.x is on hold now (Astra) and we shall see». Позже он добавляет ещё одну пару понятий — «Deterministic and the Emergent» — как рамку для описания происходящего.
Jang-woo на это возражает мягко: аналогия интересная, но «what matters is whether we are building the plane in the right direction», а скорость вторична. По его логике, до действия системы нужно спрашивать не только про способности и разрешение, а про достаточность оснований для самого действия.
Самый технический контраргумент даёт nootxlm — про маршрутизацию: если модель на ходу решает, спросить пользователя, измерить или идти с пустым значением, то «the routing itself is inference», и если пустоту породил вывод, поручать ему же её закрывать — круг. Jang-woo отвечает, что три пункта nootxlm — это один: «a permission without a half-life is just another blank the model fills», и ссылается на спецификацию, где §4.5 задаёт маршрут из объявленных источников слота и результата поиска, а не из суждения модели.
ConnerHobbs переводит спор в плоскость замеров: без записи оснований оценивать можно только исходы, и «an agent that sends the right email for the wrong reasons passes your benchmark». В поддержку он приводит отчёт ClawSecure на прошлой неделе: одна усиленная indirect prompt injection против четырнадцати моделей из пяти лабораторий, и ни одна не защитилась чисто.
Jang-woo поясняет устройство «гейта»: он считает неизвестные, а подтверждённое и подтверждённо отсутствующее — это завершённые поиски, они в счёт не идут. Поэтому запись — не список пройденных проверок, а список слотов с состояниями: «a run where the agent never looked and a run where everything resolved look nothing alike». И добавляет разграничение: рассуждение может оставаться эмерджентным, основания исполнения — нет.
Общий знаменатель есть: никто в ветке не считает, что инциденты лечатся очередной версией модели. Ernst03 с его темпом внедрения, ConnerHobbs с eval-оптикой и nootxlm с маршрутизацией сходятся с автором темы в одном — проблема в том, что основания действия нигде не объявлены. Показательно, что сам Jang-woo не спорит с nootxlm по существу, а сводит его замечания к единому пункту.
Конфликт начинается там, где рисуют границу. Автор темы полагает, что маршрут уже зафиксирован в спецификации и остаётся только исполнять; nootxlm подозревает, что решение о маршрутизации само может оказаться выводом модели. Ernst03 уводит разговор к общественному темпу и паре «детерминированное/эмерджентное», и этот слой в ветке никто не доработал. Итогового консенсуса нет — в переданном фрагменте нет и текста последнего ответа (Lawless1987), так что чем ветка закончилась, судить нельзя.
Дисклеймер: это пересказ обсуждения, а не проверенные редакцией факты. Мнения принадлежат участникам, цифры — тем, кто их привёл.
Источник: discuss.huggingface.co · пост в Telegram