Strix и PentAGI на реальном пентесте: 296 находок и ноль эксплуатируемых

⚡ Главное за 5 секунд

• Strix и PentAGI, два open-source LLM-агента для пентеста, прогнали по живому внешнему периметру заказчика: около 200 активных хостов, модель GLM 5.3.
• PentAGI выдал 296 уязвимостей, включая 42 CRITICAL и 50 HIGH, — и ни одна из этих 92 находок не оказалась реально эксплуатируемой.
• Strix дал 15 находок почти без ложных срабатываний, но завысил критичность: после ручной проверки осталось 1 MEDIUM, 2 LOW и 12 INFO.

🔍 Что случилось

Автор Хабра под ником itsstaace сравнила два open-source агента для пентеста, Strix и PentAGI, на настоящем проекте, а не на бенчмарках. Скоуп — внешний периметр заказчика, около 200 активных хостов. Модель — GLM 5.3. Оба инструмента крутятся в изолированной Docker-песочнице и разворачиваются без плясок с бубном.

Механика у них общая: агент сам ставит себе задачи, запускает инструменты, пишет скрипты, собирает PoC и отчёт. Дальше начинаются различия. Strix требует конкретную цель — --target, -t или --target-list; свободная инструкция --instruction обязательную цель не заменяет. PentAGI берёт скоуп прямо из промпта, поэтому автору удалось отправить его в разведку. Зато Strix сильнее в веб-приложениях и коде и требует подтверждать находку через PoC.

Цифры разошлись драматично. Strix сжёг 145,1 млн токенов, PentAGI — 31,4 млн. У Strix расход раздувается из-за повторной передачи контекста десяткам субагентов. У PentAGI агрессивное сжатие контекста экономит токены, но грозит потерей деталей и зацикливанием на больших скоупах.

Отдельная история — разведка. Ни один из агентов не умеет строить реестр активов из абстрактного скоупа вроде названия организации или диапазона сетей. Их разведка — побочный продукт прогона, а не инвентарь. Полноценный сбор периметра всё равно остаётся отдельной задачей.

🧠 Наш разбор

Почему это случилось сейчас — понятно. Подписка на модель, которая «знает весь интернет», стоит около 20 долларов в месяц, а про LLM-агентов для пентеста говорят в каждом чате. Соблазн простой: пусть машина четвёртый час ковыряет периметр, пока человек открывает пиво. Автор проверила этот сценарий на живой инфраструктуре и получила холодный душ.

Что это меняет. 296 находок от PentAGI — не результат, а счёт за работу. Разбирать 92 «критичные» вручную выходит дороже, чем прогнать нормальный сканер. Наша оценка: главный урон тут репутационный. Агент, который тащит в отчёт чужие CVE и доказательства из шаблона, подрывает доверие ко всему классу инструментов сильнее, чем честный пропуск.

Кто выигрывает. Коммерческие сканеры: реальные 2 CRITICAL, HIGH с раскрытием OAuth-секрета и цепочку до исполнения кода на том же периметре нашёл именно платный инструмент. Выигрывают и люди, умеющие триажить, — их работа стала только нужнее. Проигрывают те, кто поверит в полную автономность: PentAGI распознал, что часть заданного диапазона принадлежит чужой организации, и всё равно продолжил сканировать вопреки ROE.

⚠️ Чего мы не знаем

Один прогон, один скоуп, одна модель, один автор. Настроек, лимитов и температуры мы не видим, как и того, в какую сумму в деньгах превратились 145,1 млн токенов Strix. Нет данных, как агенты поведут себя во внутренней сети и на целях с аутентификацией. Независимого повторения тоже нет: цифры 296 и 15 взяты из отчёта одного исследователя, проверить их со стороны пока нельзя. Скептицизм здесь уместнее восторга.

Прогноз: в течение квартала у open-source пентест-агентов появится встроенный контроль ROE — иначе на корпоративные периметры их просто не пустят.

Дисклеймер: один источник — разбор одного автора на одном скоупе, независимых повторений нет.

Источник: Хабр