В материале на Habr разбирают китайское предложение с конкретными числами: 20 подзадач, 60 агентов, 200 инструментов. Это попытка задать измеримые границы «агентской силы» — то есть описать сложность задачи, которую агент тянет, через три счётных параметра, а не через общие слова про «умность». Автор задаётся вопросом, работает ли такая шкала на практике: корректно ли сравнивать двух агентов одной цифрой.
Механика спора простая. Цепочка из 20 подзадач проверяет, держит ли модель длинный план. 60 агентов — это уже про мультиагентную архитектуру, где несколько исполнителей делят работу. 200 инструментов — про ширину API-парка, к которому агент получает доступ. Каждый параметр меряет своё, и свести их в один рейтинг без потерь — главная проблема.
Агенты уходят в продакшн-задачи, а сравнивать их по-прежнему нечем: публичные бенчмарки отвечают на узкие вопросы и плохо переносятся на реальные сценарии с длинными цепочками вызовов. Числовые пороги — попытка дать хотя бы грубую шкалу для выбора модели под конкретную нагрузку. Пока это предложение, а не стандарт: как его примут и примут ли вообще — из материала не следует.
Источник: habr.com · пост в Telegram