Команда исследователей прогнала 2000 научных статей с четырёх популярных конференций через новые модели OpenAI и сравнила их замечания с тем, что пишут живые рецензенты. Разрыв оказался огромным. У GPT-5 на приложения приходилось меньше 30% критики, у GPT-6.1-Sol и GPT-6-Astra — примерно 50–70%, причём эффект держится на всех четырёх конференциях, то есть от площадки он не зависит.
Авторы статьи фиксируют: «Разница между поколениями большая. У GPT-5 лишь малая доля слабых мест связана с приложением. Обе новые модели, GPT-6.1-Sol и GPT-6-Astra, опираются на него куда сильнее». В человеческих ревью картина обратная — 8,4% замечаний про приложения против 62% у моделей. ИИ в семь с лишним раз чаще находил проблемы в допматериалах и в три раза чаще ругал только приложение, без единой претензии к основному тексту.
Отдельная деталь — как именно модель читает PDF. API, Codex и веб-интерфейс разбирают документ по-разному, и Codex вообще не читает середину PDF среднего размера, а при необходимости добирает её «кусками» позже. Но приложения любили все способы доступа.
Причина, наша оценка, проста и неприятна: контекстные окна выросли, модели теперь реально прожёвывают весь PDF целиком. Но «прочитать всё» ≠ «понять, что важно». Модель, как сказано в работе, почти не критикует первые страницы, где автор ставит задачу, — а приложение, наоборот, разбирает построчно. Приложение часто сырое, невычитанное, с таблицами и логами: там легко найти формальную ошибку и почти невозможно — научную.
Что это меняет — вопрос в том, чья это проблема. Если ИИ-ревьюеры используются как черновик для человека, беда небольшая. Если как замена — конференция получает поток придирок к таблице гиперпараметров вместо разговора о методе. И самое тревожное в тексте: доля appendix-замечаний в живых ревью выросла до 27,6% после выхода этих моделей. Авторы это фиксируют как корреляцию, а не доказанную причину, — и я бы тоже не спешил с выводами.
Выигрывают, по нашей оценке, не OpenAI, а те, кто продаёт «проверку ревью» поверх моделей: спрос на фильтр очевиден. Проигрывают авторы статей и программные комитеты: время уходит на разбор формальных претензий. И ещё вопрос, зачем модели с более сильным чтением понадобилось залипать на сносках — роста качества это не объясняет, а работа прямо говорит: «Способность читать статью в деталях не научила их, какие части важнее».
Мы видим пересказ исследования, а не саму статью: ссылки на первоисточник в нашем распоряжении нет, поэтому выборку, методологию подсчёта и то, как именно нормализовали критику, проверить нечем. Цифра 27,6% — корреляция с выходом моделей, а не доказательство, что люди копируют привычку ИИ. Нет и оценки, сколько из этих замечаний были по делу: возможно, часть приложений действительно плохая.
Стоит ли вообще пускать ИИ-ревью в программные комитеты без ограничений по разделам, или рецензию модели надо резать до основного текста?
Если рецензенты-люди уже перенимают привычку моделей, что лечить — инструмент или процесс рецензирования?
Считать ли 50–70% критики в приложениях багом модели или честным сигналом, что авторы прячут слабые места в допматериалах?
Прогноз: в течение двух кварталов появится хотя бы один публичный бенчмарк, который оценивает качество ИИ-ревью отдельно по основному тексту и отдельно по приложениям.
Дисклеймер: один источник, пересказ исследования — официально не подтверждено.
Источник: The New York Times
Источник: www.nytimes.com · пост в Telegram