15 ноября 2026 года Sebastian Raschka, PhD, выложил в своём Substack статью «Understanding Positional Embeddings in Modern LLMs». На Hacker News она набрала 190 баллов и 26 комментариев — для узкой архитектурной темы это много. Сам автор называет материал «строительным блоком»: он нужен как база под следующий большой текст про тренды архитектур LLM в этом году.
Логика статьи идёт по цепочке. Токенизатор превращает текст в token IDs, слой эмбеддингов мапит каждый ID в вектор, дальше transformer-блоки правят эти векторы через attention и feedforward, а выходной слой выдаёт логиты для следующего токена. Позиционная информация подмешивается в самом начале: GPT-2, например, складывает позиционный вектор с токен-эмбеддингом до входа в блоки. Дальше автор разбирает, как эту же задачу решают иначе — через относительные схемы вроде RoPE, — и показывает сравнение архитектур GPT-2 и MiniMax-M3. Из деталей: у M3 60 feedforward-слоёв, и только первые три — dense, а не MoE.
Отдельная ценность — галерея архитектур. Figure 1 группирует модели 2026 года по типу позиционного кодирования, а Section 6 объясняет, почему каждая схема выбрана. Плюс автор выложил для платных подписчиков экспорт изображений и метаданных из галереи — под собственные разборы.
Почему именно сейчас: Raschka сам пишет, что тема years висела в TODO, а большой обзор архитектурных трендов разросся бы до неприличия. Разрезать материал на самостоятельный блок — нормальная инженерная гигиена. Наша оценка: это не новость про прорыв, а референс, на который будут ссылаться. И то, что HN дал 190 баллов техническому лонгриду про позиционное кодирование, говорит о дефиците внятных разборов больше, чем о хайпе вокруг темы.
Что это меняет для читателя? Позиционные эмбеддинги — та часть LLM, которую обычно проглатывают между attention и «а дальше магия». А именно от неё зависит, как модель держит контекст и почему одни схемы масштабируются на длинные последовательности, а другие упираются в потолок. Мы считаем, что связка «математика + визуальные примеры + PyTorch-код» полезнее десятка обзорных постов: её можно открыть в блокноте и потыкать руками.
Кто выигрывает? Те, кто строит или дообучает модели и хочет понимать, что происходит с позициями при смене архитектуры. Кто проигрывает? Никто — это образовательный материал, а не продукт. Разве что те, кто надеялся на готовый «рецепт лучшей позиционной схемы»: рецепта в статье нет, есть карта вариантов и их логика.
Главное слабое место — мы видим только превью и вступление, а не полный текст со всеми таблицами. Полный список моделей в галерее 2026 года, конкретные цифры замеров и то, на каких данных автор проверял реализацию на PyTorch, в поводе не раскрыты. Дату «Nov 15, 2026» и цифру «137» (реакции у Substack) берём как есть, из шапки статьи. Статья заявлена как техническая и «слишком детальная для некоторых» — то есть часть выводов требует своей проверки в коде, а не доверия на слово.
Прогноз: в течение квартала эта статья станет одной из самых цитируемых ссылок в обсуждениях позиционного кодирования — по крайней мере, в русскоязычных и англоязычных ML-каналах, если Raschka выложит код из статьи в открытый репозиторий.
Источник: Sebastian Raschka, PhD
Источник: magazine.sebastianraschka.com · пост в Telegram