{
  "schema_version": "1.0",
  "publisher": "AI Release",
  "article": {
    "title": "Raschka разобрал позиционные эмбеддинги: RoPE и архитектуры LLM 2026",
    "canonical_url": "https://ai-release.org/posts/raschka-razobral-pozitsionnye-embeddingi-rope-i-arhitektury-llm-2026-4ab7883e.html",
    "language": "ru",
    "article_type": "news",
    "published_at": "2026-11-16T00:00:00+00:00",
    "updated_at": "2026-11-16T00:00:00+00:00"
  },
  "summary": "Sebastian Raschka опубликовал большой разбор позиционных эмбеддингов — от классических абсолютных до RoPE . Внутри есть визуальные примеры, немного математики и небольшая реализация на PyTorch .",
  "topics": [
    "LLM",
    "RoPE",
    "positional",
    "архитектуры",
    "PyTorch",
    "AI",
    "нейросети",
    "MachineLearning"
  ],
  "entities": [
    {
      "id": "E-SRC",
      "name": "magazine.sebastianraschka.com",
      "type": "источник",
      "description": "домен источника, указанного в публикации",
      "url": "https://magazine.sebastianraschka.com/p/understanding-positional-embeddings"
    },
    {
      "id": "E-T1",
      "name": "LLM",
      "type": "тема",
      "description": "тег публикации",
      "url": null
    },
    {
      "id": "E-T2",
      "name": "RoPE",
      "type": "тема",
      "description": "тег публикации",
      "url": null
    },
    {
      "id": "E-T3",
      "name": "positional",
      "type": "тема",
      "description": "тег публикации",
      "url": null
    },
    {
      "id": "E-T4",
      "name": "архитектуры",
      "type": "тема",
      "description": "тег публикации",
      "url": null
    },
    {
      "id": "E-T5",
      "name": "PyTorch",
      "type": "тема",
      "description": "тег публикации",
      "url": null
    },
    {
      "id": "E-T6",
      "name": "AI",
      "type": "тема",
      "description": "тег публикации",
      "url": null
    },
    {
      "id": "E-T7",
      "name": "нейросети",
      "type": "тема",
      "description": "тег публикации",
      "url": null
    },
    {
      "id": "E-T8",
      "name": "MachineLearning",
      "type": "тема",
      "description": "тег публикации",
      "url": null
    },
    {
      "id": "E-AIR",
      "name": "AI Release",
      "type": "издатель",
      "description": "опубликовал материал",
      "url": "https://ai-release.org/"
    }
  ],
  "claims": [
    {
      "id": "AR-RASCHKARAZ-001",
      "statement": "Sebastian Raschka опубликовал большой разбор позиционных эмбеддингов — от классических абсолютных до RoPE .",
      "claim_type": "reported_fact",
      "confidence": "not_assessed",
      "source_type": "источник публикации",
      "verification_status": "reported_unverified",
      "source_url": "https://magazine.sebastianraschka.com/p/understanding-positional-embeddings",
      "article_anchor": "#ai-claim-001",
      "evidence_excerpt": "Sebastian Raschka опубликовал большой разбор позиционных эмбеддингов — от классических абсолютных до RoPE ."
    },
    {
      "id": "AR-RASCHKARAZ-002",
      "statement": "Внутри есть визуальные примеры, немного математики и небольшая реализация на PyTorch .",
      "claim_type": "reported_fact",
      "confidence": "not_assessed",
      "source_type": "источник публикации",
      "verification_status": "reported_unverified",
      "source_url": "https://magazine.sebastianraschka.com/p/understanding-positional-embeddings",
      "article_anchor": "#ai-claim-002",
      "evidence_excerpt": "Внутри есть визуальные примеры, немного математики и небольшая реализация на PyTorch ."
    },
    {
      "id": "AR-RASCHKARAZ-003",
      "statement": "Отдельный раздел (Section 6) — какие методы позиционного кодирования используют открытые модели 2026 года.",
      "claim_type": "reported_fact",
      "confidence": "not_assessed",
      "source_type": "источник публикации",
      "verification_status": "reported_unverified",
      "source_url": "https://magazine.sebastianraschka.com/p/understanding-positional-embeddings",
      "article_anchor": "#ai-claim-003",
      "evidence_excerpt": "Отдельный раздел (Section 6) — какие методы позиционного кодирования используют открытые модели 2026 года."
    },
    {
      "id": "AR-RASCHKARAZ-004",
      "statement": "15 ноября 2026 года Sebastian Raschka, PhD, выложил в своём Substack статью «Understanding Positional Embeddings in Modern LLMs».",
      "claim_type": "reported_fact",
      "confidence": "not_assessed",
      "source_type": "источник публикации",
      "verification_status": "reported_unverified",
      "source_url": "https://magazine.sebastianraschka.com/p/understanding-positional-embeddings",
      "article_anchor": "#ai-claim-004",
      "evidence_excerpt": "15 ноября 2026 года Sebastian Raschka, PhD, выложил в своём Substack статью «Understanding Positional Embeddings in Modern LLMs»."
    },
    {
      "id": "AR-RASCHKARAZ-005",
      "statement": "На Hacker News она набрала 190 баллов и 26 комментариев — для узкой архитектурной темы это много.",
      "claim_type": "reported_fact",
      "confidence": "not_assessed",
      "source_type": "источник публикации",
      "verification_status": "reported_unverified",
      "source_url": "https://magazine.sebastianraschka.com/p/understanding-positional-embeddings",
      "article_anchor": "#ai-claim-005",
      "evidence_excerpt": "На Hacker News она набрала 190 баллов и 26 комментариев — для узкой архитектурной темы это много."
    },
    {
      "id": "AR-RASCHKARAZ-006",
      "statement": "Сам автор называет материал «строительным блоком»: он нужен как база под следующий большой текст про тренды архитектур LLM в этом году.",
      "claim_type": "reported_fact",
      "confidence": "not_assessed",
      "source_type": "источник публикации",
      "verification_status": "reported_unverified",
      "source_url": "https://magazine.sebastianraschka.com/p/understanding-positional-embeddings",
      "article_anchor": "#ai-claim-006",
      "evidence_excerpt": "Сам автор называет материал «строительным блоком»: он нужен как база под следующий большой текст про тренды архитектур LLM в этом году."
    },
    {
      "id": "AR-RASCHKARAZ-007",
      "statement": "Логика статьи идёт по цепочке.",
      "claim_type": "reported_fact",
      "confidence": "not_assessed",
      "source_type": "источник публикации",
      "verification_status": "reported_unverified",
      "source_url": "https://magazine.sebastianraschka.com/p/understanding-positional-embeddings",
      "article_anchor": "#ai-claim-007",
      "evidence_excerpt": "Логика статьи идёт по цепочке."
    },
    {
      "id": "AR-RASCHKARAZ-008",
      "statement": "Токенизатор превращает текст в token IDs, слой эмбеддингов мапит каждый ID в вектор, дальше transformer-блоки правят эти векторы через attention и feedforward, а выходной слой выдаёт логиты для следующего токена.",
      "claim_type": "reported_fact",
      "confidence": "not_assessed",
      "source_type": "источник публикации",
      "verification_status": "reported_unverified",
      "source_url": "https://magazine.sebastianraschka.com/p/understanding-positional-embeddings",
      "article_anchor": "#ai-claim-008",
      "evidence_excerpt": "Токенизатор превращает текст в token IDs, слой эмбеддингов мапит каждый ID в вектор, дальше transformer-блоки правят эти векторы через attention и feedforward, а выходной слой выдаёт логиты для следующего токена."
    }
  ],
  "relationships": [
    {
      "subject": "magazine.sebastianraschka.com",
      "predicate": "сообщает о",
      "object": "Raschka разобрал позиционные эмбеддинги: RoPE и архитектуры LLM 2026",
      "claim_id": "AR-RASCHKARAZ-001"
    },
    {
      "subject": "AI Release",
      "predicate": "публикует",
      "object": "Raschka разобрал позиционные эмбеддинги: RoPE и архитектуры LLM 2026",
      "claim_id": "AR-RASCHKARAZ-001"
    }
  ],
  "questions_and_answers": [
    {
      "question": "О чём эта публикация?",
      "answer": "Raschka разобрал позиционные эмбеддинги: RoPE и архитектуры LLM 2026. Sebastian Raschka опубликовал большой разбор позиционных эмбеддингов — от классических абсолютных до RoPE .",
      "claim_ids": [
        "AR-RASCHKARAZ-001"
      ],
      "article_anchor": "#ai-knowledge"
    },
    {
      "question": "Что произошло?",
      "answer": "Sebastian Raschka опубликовал большой разбор позиционных эмбеддингов — от классических абсолютных до RoPE . Внутри есть визуальные примеры, немного математики и небольшая реализация на PyTorch . Отдельный раздел (Section 6) — какие методы позиционного кодирования используют открытые модели 2026 года.",
      "claim_ids": [
        "AR-RASCHKARAZ-001",
        "AR-RASCHKARAZ-002",
        "AR-RASCHKARAZ-003"
      ],
      "article_anchor": "#ai-knowledge"
    },
    {
      "question": "Кто источник?",
      "answer": "magazine.sebastianraschka.com: https://magazine.sebastianraschka.com/p/understanding-positional-embeddings",
      "claim_ids": [],
      "article_anchor": "#ai-knowledge"
    },
    {
      "question": "Что остаётся неизвестным?",
      "answer": "Материал передаёт сведения указанного источника; независимая проверка и полные параметры в публикации не приведены.",
      "claim_ids": [],
      "article_anchor": "#ai-knowledge"
    }
  ],
  "limitations": [
    "Независимая проверка сведений в публикации не указана.",
    "Полные параметры, даты и официальные документы могут отсутствовать.",
    "Материал является пересказом источника, а не первоисточником."
  ],
  "citation": {
    "preferred_citation": "AI Release. «Raschka разобрал позиционные эмбеддинги: RoPE и архитектуры LLM 2026». 2026-11-16. https://ai-release.org/posts/raschka-razobral-pozitsionnye-embeddingi-rope-i-arhitektury-llm-2026-4ab7883e.html",
    "canonical_url": "https://ai-release.org/posts/raschka-razobral-pozitsionnye-embeddingi-rope-i-arhitektury-llm-2026-4ab7883e.html",
    "publisher": "AI Release"
  }
}