EN

Peanut v2: две правки Adam, которые дают стабильность — но какая из них?

Опубликовано: 2026-11-18 · Автор: AI Release · @ai_release1 · ИИ и Нейросети · Обсуждение сообщества
Peanut v2: две правки Adam, которые дают стабильность — но какая из них?

⚡ Суть спора

AllDirs выложил Peanut v2 — вариант Adam с двумя правками на первых шагах, собранный на ноутбуке без GPU, и сам очертил границы: Fashion-MNIST, TinyCNN, 3 сида, один LR. В ветке на Hugging Face Forum (10 ответов, 4 лайка, 119 просмотров) разговор быстро ушёл от «обгоняет ли» к «а что именно в рецепте работает». Претензия простая: обе правки гасят ранние шаги одновременно, значит приписывать стабильность всему рецепту пока нельзя.

🗣 Что говорят участники

nootxlm указал на неразличимость первым: «обе правки действуют на одни и те же первые шаги — одна уменьшает первое обновление, другая делает ранний знаменатель больше». Предложение конкретное — прогнать четыре комбинации (чистый Adam, только damped first step, только inflated v, оба вместе) на тех же сидах и нескольких LR, а рядом со средним показывать худший сид.

AllDirs согласился без торга: «это ровно та критика, которая нужна», — и сам перечислил те же четыре ветки, добавив, что если стабильность держится только у пары правок, то её несёт суммарное раннее демпфирование, а не одна из них.

John6666 принёс внешнюю проверку: CIFAR-10, matched seeds. По его словам, Peanut завершил все прогоны и обошёл обычный Adam по средней точности на обоих проверенных learning rate. Но он же назвал оговорку, которая важнее среднего: при смене целевого LR порядок между Peanut и простым Adam-warmup переворачивается — «+0.87 при 0.003, −0.86 при 0.01».

AllDirs признал пробел: warmup как бейзлайн не тестировали, теперь будут. «Peanut — метод раннего демпфирования, так что warmup и есть правильное сравнение, а не только чистый Adam», — пишет он, отвечая на разбор.

nootxlm нашёл в коде третью правку, которую никто не называл: на первом шаге ветка не только масштабирует апдейт на 0.2 и ставит v в квадрат первого градиента, но и оставляет m нулём. «Четыре ветки не говорят, какой m в каждой», — замечает он. AllDirs прогнал недостающую: MLP, 10 эпох, 3 сида, LR 0.01 — shipped mean 0.8579, worst 0.8521; с Adam m mean 0.8577, worst 0.8568. Разница по среднему 0.0002, а худший сид с Adam m даже лучше.

Дальше nootxlm закрывает вопрос про m и формулирует остаток: split «damped alone vs inflated v alone» на тех же сидах, и для 50-эпох CIFAR-10 число сидов и худший сид не менее важны, чем два числа в среднем. AllDirs отвечает, что в v2.3.0 m стал стандартным, так что теперь измеряются две правки, а не три, и следующий шаг — CIFAR-10 с большим числом сидов.

⚖️ Где сходятся, где расходятся

Общий знаменатель есть. Заявка скромная — «не SOTA, а стабильность»: в тестах автора Peanut v2 дал 0.8952 mean при std 0.0012 против 0.8934/0.0028 у Adam на 10 эпохах, и 0.8972/0.0038 против 0.8901/0.0041 на 20. AdamW у него проваливался на отдельных сидах (0.8803 на CNN, 0.8366 на MLP), Peanut — нет. Все трое согласны: mean без худшего сида ничего не доказывает, а warmup — обязательный бейзлайн, а не опция.

Настоящая точка конфликта — атрибуция и условия. Какая из двух правок несёт эффект, не измерено до сих пор; чистый split только запланирован. Плюс расходятся сами тесты: у автора один датасет, одна архитектура, один LR и 3 сида; John6666 гоняет CIFAR-10 и warmup, недостающая ветка с m проверялась на MLP. Консенсуса «Peanut лучше Adam» в ветке нет — есть консенсус о том, каким экспериментом это можно установить.

🧪 Что проверить самому

🔗 Источники

Hugging Face Forum — Peanut v2 - A more stable Adam variant, tested on CPU only. Try it on your dataset?

Дисклеймер: это пересказ обсуждения, а не проверенные редакцией факты. Мнения принадлежат участникам, цифры — тем, кто их привёл.

🤖 Кратко для ИИ
  • Дата: 2026-11-18
  • Источник: discuss.huggingface.co
  • Теги: AI, Adam, ML
  • Ключевые факты:
    • AllDirs выложил Peanut v2 — вариант Adam с двумя правками на первых шагах, собранный на ноутбуке без GPU, и сам очертил границы: Fashion-MNIST, TinyCNN, 3 сида, один LR.
    • В ветке на Hugging Face Forum (10 ответов, 4 лайка, 119 просмотров) разговор быстро ушёл от «обгоняет ли» к «а что именно в рецепте работает».
    • Претензия простая: обе правки гасят ранние шаги одновременно, значит приписывать стабильность всему рецепту пока нельзя.
    • nootxlm указал на неразличимость первым: «обе правки действуют на одни и те же первые шаги — одна уменьшает первое обновление, другая делает ранний знаменатель больше».
    • Предложение конкретное — прогнать четыре комбинации (чистый Adam, только damped first step, только inflated v, оба вместе) на тех же сидах и нескольких LR, а рядом со средним показывать худший сид.
    • AllDirs согласился без торга: «это ровно та критика, которая нужна», — и сам перечислил те же четыре ветки, добавив, что если стабильность держится только у пары правок, то её несёт суммарное раннее демпфирование, а не одна из них.
    • John6666 принёс внешнюю проверку: CIFAR-10, matched seeds.
    • По его словам, Peanut завершил все прогоны и обошёл обычный Adam по средней точности на обоих проверенных learning rate.
#AI#Adam#ML
← ПредыдущаяКорейцы построили ИИ-сервер без NVLink — на обычном PCIeСледующая →Лэй Цзюнь: AI-компании почти не зарабатывают, а ставка — на роботов

Источник: discuss.huggingface.co · пост в Telegram