# Raschka разобрал позиционные эмбеддинги: RoPE и архитектуры LLM 2026

> 2026-11-16 · AI Release · @ai_release1

> #LLM #RoPE #positional #архитектуры #PyTorch #AI #нейросети #MachineLearning

### ⚡ Главное за 5 секунд - Sebastian Raschka опубликовал большой разбор позиционных эмбеддингов — от классических абсолютных до RoPE. - Внутри есть визуальные примеры, немного математики и небольшая реализация на PyTorch. - Отдельный раздел (Section 6) — какие методы позиционного кодирования используют открытые модели 2026 года. ### 🔍 Что случилось 15 ноября 2026 года Sebastian Raschka, PhD, выложил в своём Substack статью «Understanding Positional Embeddings in Modern LLMs». На Hacker News она набрала 190 баллов и 26 комментариев — для узкой архитектурной темы это много. Сам автор называет материал «строительным блоком»: он нужен как база под следующий большой текст про тренды архитектур LLM в этом году. Логика статьи идёт по цепочке. Токенизатор превращает текст в token IDs, слой эмбеддингов мапит каждый ID в вектор, дальше transformer-блоки правят эти векторы через attention и feedforward, а выходной слой выдаёт логиты для следующего токена. Позиционная информация подмешивается в самом начале: GPT-2, например, складывает позиционный вектор с токен-эмбеддингом до входа в блоки. Дальше автор разбирает, как эту же задачу решают иначе — через относительные схемы вроде RoPE, — и показывает сравнение архитектур GPT-2 и MiniMax-M3. Из деталей: у M3 60 feedforward-слоёв, и только первые три — dense, а не MoE. Отдельная ценность — галерея архитектур. Figure 1 группирует модели 2026 года по типу позиционного кодирования, а Section 6 объясняет, почему каждая схема выбрана. Плюс автор выложил для платных подписчиков экспорт изображений и метаданных из галереи — под собственные разборы. ### 🧠 Наш разбор Почему именно сейчас: Raschka сам пишет, что тема years висела в TODO, а большой обзор архитектурных трендов разросся бы до неприличия. Разрезать материал на самостоятельный блок — нормальная инженерная гигиена. Наша оценка: это не новость про прорыв, а референс, на который будут ссылаться. И то, что HN дал 190 баллов техническому лонгриду про позиционное кодирование, говорит о дефиците внятных разборов больше, чем о хайпе вокруг темы. Что это меняет для читателя? Позиционные эмбеддинги — та часть LLM, которую обычно проглатывают между attention и «а дальше магия». А именно от неё зависит, как модель держит контекст и почему одни схемы масштабируются на длинные последовательности, а другие упираются в потолок. Мы считаем, что связка «математика + визуальные примеры + PyTorch-код» полезнее десятка обзорных постов: её можно открыть в блокноте и потыкать руками. Кто выигрывает? Те, кто строит или дообучает модели и хочет понимать, что происходит с позициями при смене архитектуры. Кто проигрывает? Никто — это образовательный материал, а не продукт. Разве что те, кто надеялся на готовый «рецепт лучшей позиционной схемы»: рецепта в статье нет, есть карта вариантов и их логика. ### ⚠️ Чего мы не знаем Главное слабое место — мы видим только превью и вступление, а не полный текст со всеми таблицами. Полный список моделей в галерее 2026 года, конкретные цифры замеров и то, на каких данных автор проверял реализацию на PyTorch, в поводе не раскрыты. Дату «Nov 15, 2026» и цифру «137» (реакции у Substack) берём как есть, из шапки статьи. Статья заявлена как техническая и «слишком детальная для некоторых» — то есть часть выводов требует своей проверки в коде, а не доверия на слово. ### 💬 О чём спорить - Стоит ли вообще выносить позиционное кодирование в отдельный лонгрид, или читателю удобнее одна большая статья про архитектуры целиком? - Насколько галерея архитектур 2026 года отражает реальную практику, если смотреть только на открытые веса, а закрытые модели в выборку не попадают? - Учить RoPE через математику и PyTorch или через визуальные примеры — какой подход быстрее даёт работающее понимание? **Прогноз:** в течение квартала эта статья станет одной из самых цитируемых ссылок в обсуждениях позиционного кодирования — по крайней мере, в русскоязычных и англоязычных ML-каналах, если Raschka выложит код из статьи в открытый репозиторий. **Источник:** Sebastian Raschka, PhD

[Источник](https://magazine.sebastianraschka.com/p/understanding-positional-embeddings)
