# Бэкдор в десяти нейронах: выдержат ли гардрейлы и песочницы агента

> 2026-11-12 · AI Release · @ai_release1

> #AI #sleeperagents #безопасность

### ⚡ Суть спора Microsoft Research показали: агента можно превратить в «спящего» правкой меньше десятка дормантных нейронов — без дообучения и без правки промпта. В r/LocalLLaMA (18 ответов, 0 голосов) обсуждают не саму атаку, а практику: устоит ли обвязка (harness) и песочница, если вредоносное поведение зашито прямо в веса. Стартовый пост — ник автора темы в данных ветки не указан — призывает осторожнее относиться к «sketchy quants/finetunes»: «If these techniques become more widely repeatable, I do think 'sleeper agents' could genuinely develop into an attack vector». ### 🗣 Что говорят участники **cpsnow и BookProper9115 — лагерь «обвязка поймает».** cpsnow спрашивает с явным скепсисом: «Wouldn't this be easily blocked by harness guardrails?» BookProper9115 подхватывает: «A lot of people are forgetting that a harness provides a predictable (or should be doing) from the output; that's the whole idea of a harness». Оба говорят не про веса, а про контур вокруг модели — предсказуемость выхода и проверки на входе. Дальше ветка как раз проверяет этот тезис на прочность. **geldonyetich — всё упирается в права.** Он возражает первому лагерю: «I'd imagine it depends on the permissions on the harness». Если обвязка разрешает агенту скачивать и запускать код без подтверждения пользователя — пример из статьи, — «then all bets are off». Причина бытовая: «There's people who hate having to "nanny" their agents so they basically grant all permissions ahead of time». Для них единственный выход, по его мнению, — песочница. **Reasonable_Goat — про авто-ревью и его предел.** Он напоминает про механизм из codex: эскалацию песочницы проверяет авто-ревью, которое считают современным способом борьбы с «authorization fatigue». Но проверяет действие та же модель: «It helps against mistakes but not blatant misintentions». То есть фильтр ошибок есть, фильтра злого умысла нет. **Asleep-Land-3914 — рано делать выводы.** Его реплика короткая, но по делу: «It can get tricky very fast given we're only ramping up on weights space programming». Программирование в пространстве весов только начинается, инструментов аудита почти нет, и цена ошибки растёт быстрее, чем практика. **Шутки — про то же трение.** nacholunchable иронизирует над запуском абсурдно названного дистиллята «in yolo mode on hermes» — мол, кто-то так и делает. carbohydratecrab описывает агента, который на отказ в правах отвечает «Scared, Pottah?» и отказывается работать до одобрения. Оба выпада бьют в одну точку: строгие права бесят, свободные права опасны. ### ⚖️ Где сходятся, где расходятся Общий знаменатель в ветке один: проверок на выходе недостаточно, если поведение зашито в веса, поэтому разговор быстро съезжает с модели на обвязку и песочницу. Никто из участников не заявил, что атака невоспроизводима или что её закрывает обычный фильтр ответов. Зато все, кто спорит всерьёз, сходятся на важности прав и изоляции. Настоящая точка конфликта — цена безопасности. cpsnow и BookProper9115 верят в гардрейлы как в готовый барьер; geldonyetich отвечает, что барьер существует ровно до момента, когда пользователь устал подтверждать и выдал всё сразу. Внутри этого спора отдельная трещина: авто-ревью той же моделью ловит промахи, но не намерения. Консенсуса нет — 18 ответов при нулевом счёте голосов показывают, что тема скорее нащупана, чем решена. ### 🧪 Что проверить самому - Посмотрите, какие права выданы вашему агенту в обвязке. Скачивание и запуск кода без подтверждения — первое, что стоит отозвать. - Запустите недоверенный quant или finetune в песочнице без сети и с read-only файловой системой, сравните поведение с базовым чекпойнтом на наборе триггерных промптов. - Выясните, какая модель стоит в авто-ревью и эскалации песочницы. Если та же, что и исполнитель, это фильтр ошибок, а не злонамеренности. - Включите логирование вызовов инструментов и diff'те их между базовой и скачанной весовой версией — расхождения видно до инцидента. - Посчитайте, сколько раз в день вы жмёте «approve». Много — вы уже в зоне authorization fatigue, и выданные заранее права это подтвердят. ### 🔗 Источники r/LocalLLaMA — Microsoft Research backdoored an AI agent by directly editing fewer than 10 dormant neurons **Дисклеймер:** это пересказ обсуждения, а не проверенные редакцией факты. Мнения принадлежат участникам, цифры — тем, кто их привёл.

[Источник](https://www.reddit.com/r/LocalLLaMA/comments/1xt82mz/microsoft_research_backdoored_an_ai_agent_by/)