JEPA ЛеКуна: гипотеза Платона стала теоремой против LLM

⚡ Главное за 5 секунд

• Рэнделл Балестриеро и Ян ЛеКун выпустили работу «Proving and Improving the Platonic Representation Hypothesis with JEPAs»: гипотеза Платона стала теоремой, а JEPA с «хорошими видами» выравнивает представления о мире эффективнее гигантских LLM.
• ЛеКун развивает AMI Labs в Париже; по тексту Хабра, стартап привлёк $1.03 млрд от Jeff Bezos, Nvidia, Samsung и Toyota.
• В заголовке Хабра — Llama-3 70B и модель «в 600 раз меньше», но в текстовом фрагменте нет ни методики, ни самого сравнения.

🔍 Что случилось

Рэнделл Балестриеро из Brown University и Ян ЛеКун из AMI Labs / NYU опубликовали исследование, в котором спорят с главной ставкой индустрии на масштабирование next-token prediction. Они превращают эмпирическую гипотезу платоновского представления в строгую математическую теорему и утверждают: компактная Joint-Embedding Predictive Architecture с «хорошими видами» выравнивает представление о реальном мире в десятки раз эффективнее огромных языковых моделей. Пересказ работы опубликован на Хабре.

Механика спора такая. LLM учат предсказывать следующий токен на корпусе в 20–30 трлн токенов; по расчёту из статьи, это сопоставимо с объёмом зрительного опыта ребёнка за 16 000 часов бодрствования при пропускной способности зрительного нерва около 2 МБ/с. Но ребёнок за эти часы собирает инвариантность объектов, гравитацию, инерцию и причинно-следственные связи, а LLM после всего интернета всё равно проваливается в планировании в реальном времени. JEPA противопоставлена этой «авторегрессионной монокультуре»: ЛеКун называет происходящее в Кремниевой долине «LLM-ослеплением» и говорит, что все копают одну и ту же траншею.

🧠 Наш разбор

Наша оценка: это не просто ещё один препринт, а идеологический манифест под конкретный проект. ЛеКун, по тексту Хабра, ушёл с поста главного научного сотрудника Meta и основал AMI Labs с $1.03 млрд начального финансирования. Теорема Платона здесь нужна не ради красивой философии, а чтобы сказать инвесторам: деньги в гигантские дата-центры под LLM — не единственный путь к сильному ИИ.

Что это меняет, если математика выдержит проверку? Фокус спора смещается с количества параметров на структуру данных и цель обучения. Мы считаем, что для рынка это удар не по LLM целиком, а по идее «ещё больше токенов и ещё больше GPU — и само заработает». Для робототехники и систем с видео/сенсорными данными такой аргумент выглядит сильнее: там как раз нужна модель мира, а не умение пересказать юридический экзамен.

Кто выигрывает? Похоже на то, что выигрывают LeCun, AMI Labs и команды, которые умеют собирать «хорошие виды» — то есть качественные преобразования и ракурсы данных для обучения представлений. Проигрывают, наша оценка, те, кто продаёт только рост контекста и очередной триллион токенов. Но это не приговор Llama-3 или Qwen: в приведённом фрагменте нет ни одного публичного бенчмарка, где маленькая JEPA реально обошла бы Llama-3 70B.

⚠️ Чего мы не знаем

Главная дыра — цифра «в 600 раз меньше» из заголовка. В тексте нет ни размера модели, ни задачи, ни метрики, ни условий сравнения с Llama-3 70B. Мы не видим доказательства теоремы, описания «хороших видов» и списка экспериментов. Это пересказ на Хабре, а не первоисточник; ссылку на препринт и детали проверки читателю стоит искать самому. Пока это сильный тезис, но не воспроизводимый результат.

Прогноз: в течение квартала жду хотя бы один публичный бенчмарк JEPA против LLM на задачах планирования или робототехники. Если его не будет, спор останется на уровне теоремы и интервью.

Дисклеймер: в поводе только пересказ на Хабре; ссылки на препринт и детали эксперимента во фрагменте нет.