# Peanut v2: две правки Adam, которые дают стабильность — но какая из них?

> 2026-11-18 · AI Release · @ai_release1

> #AI #Adam #ML

### ⚡ Суть спора AllDirs выложил Peanut v2 — вариант Adam с двумя правками на первых шагах, собранный на ноутбуке без GPU, и сам очертил границы: Fashion-MNIST, TinyCNN, 3 сида, один LR. В ветке на Hugging Face Forum (10 ответов, 4 лайка, 119 просмотров) разговор быстро ушёл от «обгоняет ли» к «а что именно в рецепте работает». Претензия простая: обе правки гасят ранние шаги одновременно, значит приписывать стабильность всему рецепту пока нельзя. ### 🗣 Что говорят участники nootxlm указал на неразличимость первым: «обе правки действуют на одни и те же первые шаги — одна уменьшает первое обновление, другая делает ранний знаменатель больше». Предложение конкретное — прогнать четыре комбинации (чистый Adam, только damped first step, только inflated v, оба вместе) на тех же сидах и нескольких LR, а рядом со средним показывать худший сид. AllDirs согласился без торга: «это ровно та критика, которая нужна», — и сам перечислил те же четыре ветки, добавив, что если стабильность держится только у пары правок, то её несёт суммарное раннее демпфирование, а не одна из них. John6666 принёс внешнюю проверку: CIFAR-10, matched seeds. По его словам, Peanut завершил все прогоны и обошёл обычный Adam по средней точности на обоих проверенных learning rate. Но он же назвал оговорку, которая важнее среднего: при смене целевого LR порядок между Peanut и простым Adam-warmup переворачивается — «+0.87 при 0.003, −0.86 при 0.01». AllDirs признал пробел: warmup как бейзлайн не тестировали, теперь будут. «Peanut — метод раннего демпфирования, так что warmup и есть правильное сравнение, а не только чистый Adam», — пишет он, отвечая на разбор. nootxlm нашёл в коде третью правку, которую никто не называл: на первом шаге ветка не только масштабирует апдейт на 0.2 и ставит v в квадрат первого градиента, но и оставляет m нулём. «Четыре ветки не говорят, какой m в каждой», — замечает он. AllDirs прогнал недостающую: MLP, 10 эпох, 3 сида, LR 0.01 — shipped mean 0.8579, worst 0.8521; с Adam m mean 0.8577, worst 0.8568. Разница по среднему 0.0002, а худший сид с Adam m даже лучше. Дальше nootxlm закрывает вопрос про m и формулирует остаток: split «damped alone vs inflated v alone» на тех же сидах, и для 50-эпох CIFAR-10 число сидов и худший сид не менее важны, чем два числа в среднем. AllDirs отвечает, что в v2.3.0 m стал стандартным, так что теперь измеряются две правки, а не три, и следующий шаг — CIFAR-10 с большим числом сидов. ### ⚖️ Где сходятся, где расходятся Общий знаменатель есть. Заявка скромная — «не SOTA, а стабильность»: в тестах автора Peanut v2 дал 0.8952 mean при std 0.0012 против 0.8934/0.0028 у Adam на 10 эпохах, и 0.8972/0.0038 против 0.8901/0.0041 на 20. AdamW у него проваливался на отдельных сидах (0.8803 на CNN, 0.8366 на MLP), Peanut — нет. Все трое согласны: mean без худшего сида ничего не доказывает, а warmup — обязательный бейзлайн, а не опция. Настоящая точка конфликта — атрибуция и условия. Какая из двух правок несёт эффект, не измерено до сих пор; чистый split только запланирован. Плюс расходятся сами тесты: у автора один датасет, одна архитектура, один LR и 3 сида; John6666 гоняет CIFAR-10 и warmup, недостающая ветка с m проверялась на MLP. Консенсуса «Peanut лучше Adam» в ветке нет — есть консенсус о том, каким экспериментом это можно установить. ### 🧪 Что проверить самому - Собрать четыре ветки на одних сидах: Adam, damped step отдельно, inflated v отдельно, обе правки. Без этого спор о причине стабильности не решается. - Печатать worst seed рядом с mean на каждом LR — именно на разбросе строится заявка Peanut. - Добавить warmup-бейзлайн: по данным John6666 знак разницы между Peanut и warmup меняется вместе с целевым LR. - Заглянуть в `src/optimizers/peanut.py` и сверить первый шаг: множитель 0.2, `v = g1^2`, поведение `m` (в v2.3.0 оно стандартное). - Прогнать на своей архитектуре и своём датасете: в ветке за пределами Fashion-MNIST и MLP данных мало, а CIFAR-10-прогоны описаны одним участником. ### 🔗 Источники Hugging Face Forum — Peanut v2 - A more stable Adam variant, tested on CPU only. Try it on your dataset? **Дисклеймер:** это пересказ обсуждения, а не проверенные редакцией факты. Мнения принадлежат участникам, цифры — тем, кто их привёл.

[Источник](https://discuss.huggingface.co/t/peanut-v2-a-more-stable-adam-variant-tested-on-cpu-only-try-it-on-your-dataset/191809)
