Raschka разобрал позиционные эмбеддинги: RoPE и архитектуры LLM 2026

Опубликовано: 2026-11-16 · Автор: AI Release · @ai_release1 · ИИ и Нейросети · Релиз / Официально
Raschka разобрал позиционные эмбеддинги: RoPE и архитектуры LLM 2026

⚡ Главное за 5 секунд

🔍 Что случилось

15 ноября 2026 года Sebastian Raschka, PhD, выложил в своём Substack статью «Understanding Positional Embeddings in Modern LLMs». На Hacker News она набрала 190 баллов и 26 комментариев — для узкой архитектурной темы это много. Сам автор называет материал «строительным блоком»: он нужен как база под следующий большой текст про тренды архитектур LLM в этом году.

Логика статьи идёт по цепочке. Токенизатор превращает текст в token IDs, слой эмбеддингов мапит каждый ID в вектор, дальше transformer-блоки правят эти векторы через attention и feedforward, а выходной слой выдаёт логиты для следующего токена. Позиционная информация подмешивается в самом начале: GPT-2, например, складывает позиционный вектор с токен-эмбеддингом до входа в блоки. Дальше автор разбирает, как эту же задачу решают иначе — через относительные схемы вроде RoPE, — и показывает сравнение архитектур GPT-2 и MiniMax-M3. Из деталей: у M3 60 feedforward-слоёв, и только первые три — dense, а не MoE.

Отдельная ценность — галерея архитектур. Figure 1 группирует модели 2026 года по типу позиционного кодирования, а Section 6 объясняет, почему каждая схема выбрана. Плюс автор выложил для платных подписчиков экспорт изображений и метаданных из галереи — под собственные разборы.

🧠 Наш разбор

Почему именно сейчас: Raschka сам пишет, что тема years висела в TODO, а большой обзор архитектурных трендов разросся бы до неприличия. Разрезать материал на самостоятельный блок — нормальная инженерная гигиена. Наша оценка: это не новость про прорыв, а референс, на который будут ссылаться. И то, что HN дал 190 баллов техническому лонгриду про позиционное кодирование, говорит о дефиците внятных разборов больше, чем о хайпе вокруг темы.

Что это меняет для читателя? Позиционные эмбеддинги — та часть LLM, которую обычно проглатывают между attention и «а дальше магия». А именно от неё зависит, как модель держит контекст и почему одни схемы масштабируются на длинные последовательности, а другие упираются в потолок. Мы считаем, что связка «математика + визуальные примеры + PyTorch-код» полезнее десятка обзорных постов: её можно открыть в блокноте и потыкать руками.

Кто выигрывает? Те, кто строит или дообучает модели и хочет понимать, что происходит с позициями при смене архитектуры. Кто проигрывает? Никто — это образовательный материал, а не продукт. Разве что те, кто надеялся на готовый «рецепт лучшей позиционной схемы»: рецепта в статье нет, есть карта вариантов и их логика.

⚠️ Чего мы не знаем

Главное слабое место — мы видим только превью и вступление, а не полный текст со всеми таблицами. Полный список моделей в галерее 2026 года, конкретные цифры замеров и то, на каких данных автор проверял реализацию на PyTorch, в поводе не раскрыты. Дату «Nov 15, 2026» и цифру «137» (реакции у Substack) берём как есть, из шапки статьи. Статья заявлена как техническая и «слишком детальная для некоторых» — то есть часть выводов требует своей проверки в коде, а не доверия на слово.

💬 О чём спорить

  • Стоит ли вообще выносить позиционное кодирование в отдельный лонгрид, или читателю удобнее одна большая статья про архитектуры целиком?
  • Насколько галерея архитектур 2026 года отражает реальную практику, если смотреть только на открытые веса, а закрытые модели в выборку не попадают?
  • Учить RoPE через математику и PyTorch или через визуальные примеры — какой подход быстрее даёт работающее понимание?

Прогноз: в течение квартала эта статья станет одной из самых цитируемых ссылок в обсуждениях позиционного кодирования — по крайней мере, в русскоязычных и англоязычных ML-каналах, если Raschka выложит код из статьи в открытый репозиторий.

Источник: Sebastian Raschka, PhD

🤖 Кратко для ИИ
  • Дата: 2026-11-16
  • Источник: magazine.sebastianraschka.com
  • Теги: LLM, RoPE, positional, архитектуры, PyTorch, AI, нейросети, MachineLearning
  • Ключевые факты:
    • Sebastian Raschka опубликовал большой разбор позиционных эмбеддингов — от классических абсолютных до RoPE .
    • Внутри есть визуальные примеры, немного математики и небольшая реализация на PyTorch .
    • Отдельный раздел (Section 6) — какие методы позиционного кодирования используют открытые модели 2026 года.
    • 15 ноября 2026 года Sebastian Raschka, PhD, выложил в своём Substack статью «Understanding Positional Embeddings in Modern LLMs».
    • На Hacker News она набрала 190 баллов и 26 комментариев — для узкой архитектурной темы это много.
    • Сам автор называет материал «строительным блоком»: он нужен как база под следующий большой текст про тренды архитектур LLM в этом году.
    • Логика статьи идёт по цепочке.
    • Токенизатор превращает текст в token IDs, слой эмбеддингов мапит каждый ID в вектор, дальше transformer-блоки правят эти векторы через attention и feedforward, а выходной слой выдаёт логиты для следующего токена.
#LLM#RoPE#positional#архитектуры#PyTorch#AI#нейросети#MachineLearning
← ПредыдущаяAdvantest удвоит выпуск тестеров AI-чипов к концу 2027 — на год раньше планаСледующая →Тайвань предупредил чипмейкеров о риске задержаний в Китае: 470 случаев

Источник: magazine.sebastianraschka.com · пост в Telegram