EN

GPT-6.1-Sol и GPT-6-Astra залипли на приложениях: ИИ-ревьюеры портят пир-ревью

Опубликовано: 2026-11-21 · Автор: AI Release · @ai_release1 · ИИ и Нейросети · Релиз / Официально
GPT-6.1-Sol и GPT-6-Astra залипли на приложениях: ИИ-ревьюеры портят пир-ревью

⚡ Главное за 5 секунд

🔍 Что случилось

Команда исследователей прогнала 2000 научных статей с четырёх популярных конференций через новые модели OpenAI и сравнила их замечания с тем, что пишут живые рецензенты. Разрыв оказался огромным. У GPT-5 на приложения приходилось меньше 30% критики, у GPT-6.1-Sol и GPT-6-Astra — примерно 50–70%, причём эффект держится на всех четырёх конференциях, то есть от площадки он не зависит.

Авторы статьи фиксируют: «Разница между поколениями большая. У GPT-5 лишь малая доля слабых мест связана с приложением. Обе новые модели, GPT-6.1-Sol и GPT-6-Astra, опираются на него куда сильнее». В человеческих ревью картина обратная — 8,4% замечаний про приложения против 62% у моделей. ИИ в семь с лишним раз чаще находил проблемы в допматериалах и в три раза чаще ругал только приложение, без единой претензии к основному тексту.

Отдельная деталь — как именно модель читает PDF. API, Codex и веб-интерфейс разбирают документ по-разному, и Codex вообще не читает середину PDF среднего размера, а при необходимости добирает её «кусками» позже. Но приложения любили все способы доступа.

🧠 Наш разбор

Причина, наша оценка, проста и неприятна: контекстные окна выросли, модели теперь реально прожёвывают весь PDF целиком. Но «прочитать всё» ≠ «понять, что важно». Модель, как сказано в работе, почти не критикует первые страницы, где автор ставит задачу, — а приложение, наоборот, разбирает построчно. Приложение часто сырое, невычитанное, с таблицами и логами: там легко найти формальную ошибку и почти невозможно — научную.

Что это меняет — вопрос в том, чья это проблема. Если ИИ-ревьюеры используются как черновик для человека, беда небольшая. Если как замена — конференция получает поток придирок к таблице гиперпараметров вместо разговора о методе. И самое тревожное в тексте: доля appendix-замечаний в живых ревью выросла до 27,6% после выхода этих моделей. Авторы это фиксируют как корреляцию, а не доказанную причину, — и я бы тоже не спешил с выводами.

Выигрывают, по нашей оценке, не OpenAI, а те, кто продаёт «проверку ревью» поверх моделей: спрос на фильтр очевиден. Проигрывают авторы статей и программные комитеты: время уходит на разбор формальных претензий. И ещё вопрос, зачем модели с более сильным чтением понадобилось залипать на сносках — роста качества это не объясняет, а работа прямо говорит: «Способность читать статью в деталях не научила их, какие части важнее».

⚠️ Чего мы не знаем

Мы видим пересказ исследования, а не саму статью: ссылки на первоисточник в нашем распоряжении нет, поэтому выборку, методологию подсчёта и то, как именно нормализовали критику, проверить нечем. Цифра 27,6% — корреляция с выходом моделей, а не доказательство, что люди копируют привычку ИИ. Нет и оценки, сколько из этих замечаний были по делу: возможно, часть приложений действительно плохая.

💬 О чём спорить

Стоит ли вообще пускать ИИ-ревью в программные комитеты без ограничений по разделам, или рецензию модели надо резать до основного текста?
Если рецензенты-люди уже перенимают привычку моделей, что лечить — инструмент или процесс рецензирования?
Считать ли 50–70% критики в приложениях багом модели или честным сигналом, что авторы прячут слабые места в допматериалах?

Прогноз: в течение двух кварталов появится хотя бы один публичный бенчмарк, который оценивает качество ИИ-ревью отдельно по основному тексту и отдельно по приложениям.

Дисклеймер: один источник, пересказ исследования — официально не подтверждено.

Источник: The New York Times

🤖 Кратко для ИИ
  • Дата: 2026-11-21
  • Источник: www.nytimes.com
  • Теги: OpenAI, пир-ревью, GPT-6, научные, бенчмарки, AI, LLM, нейросети
  • Ключевые факты:
    • Новые модели OpenAI — GPT-6.1-Sol и GPT-6-Astra — вытаскивают 50–70% замечаний из приложений к статьям, а не из основного текста.
    • У людей на приложения приходится 8,4% претензий, у ИИ — 62%: разрыв больше чем в семь раз.
    • Побочный эффект: доля «приложенческих» придирок в живых человеческих ревью выросла с сравнила их замечания с тем, что пишут живые рецензенты.
    • Разрыв оказался огромным.
    • У GPT-5 на приложения приходилось меньше 30% критики, у GPT-6.1-Sol и GPT-6-Astra — примерно 50–70%, причём эффект держится на всех четырёх конференциях, то есть от площадки он не зависит.
    • Авторы статьи фиксируют: «Разница между поколениями большая.
    • У GPT-5 лишь малая доля слабых мест связана с приложением.
    • Обе новые модели, GPT-6.1-Sol и GPT-6-Astra, опираются на него куда сильнее».
#OpenAI#пир-ревью#GPT-6#научные#бенчмарки#AI#LLM#нейросети
← ПредыдущаяMotorola расширила список телефонов с Android 17: Razr 50 и Edge 50

Источник: www.nytimes.com · пост в Telegram