Инференс в больших языковых моделях: как текст становится числами

⚡ Главное за 5 секунд - Инференс в LLM — это преобразование промпта в числа, обработка трансформерными слоями и авторегрессионная генерация ответа токен за токеном. - Где доступно: перевод статьи Arpit Bhayani опубликован в блоге «Питер» на Habr 28 сентября 2024 года, время чтения — 14 минут. - Ограничение: чем больше токенов в тексте, тем больше вычислений, издержки API и риск достигнуть лимита контекстного окна. ### 🔍 Что обнаружено В переведённой статье Arpit Bhayani для блога «Питер» (Habr, 28 сентября 2024) объясняется, что такие модели, как GPT-4, Claude и Llama, являются трансформерами, выполняющими только декодирование. Это значит, что они авторегрессионные: на каждом проходе генерируют один новый токен на основе всех ранее сгенерированных. Размер модели определяется числом параметров: например, модель на 7 миллиардов параметров содержит 7 миллиардов чисел с плавающей точкой. Автор подробно разбирает токенизацию по методу Byte Pair Encoding (BPE). Текст переводится в байты UTF-8, затем частые пары символов объединяются в токены. Для слова «unhappiness» процесс выглядит так: от отдельных символов к токенам ['un', 'happi', 'ness']. Пример с фразой «The AI model generates text» даёт идентификаторы [464, 15592, 2746, 18616, 2420]. Векторные представления токенов строятся через embedding-матрицу: при словаре в 50 000 токенов и размерности 4096 матрица имеет форму [50000, 4096]. К векторам добавляется позиционное кодирование, например RoPE. ### 💡 Почему это важно Понимание инференса важно для всех, кто работает с LLM API. Токенизация напрямую влияет на производительность и издержки: чем больше токенов требуется для обработки текста, тем больше вычислений и тем выше стоимость запросов. Если токенизатор обучался преимущественно на английском, неанглийский текст часто требует больше токенов, что увеличивает расходы и может приблизить к лимиту контекстного окна. Знание этих механик помогает лучше оценивать стоимость и ограничения при работе с моделями. ### 🧩 Контекст Трансформерная архитектура пришла на смену моделям, обрабатывавшим текст последовательно. Её ключевое преимущество — параллельный анализ целых последовательностей, что ускоряет обучение и развёртывание. Базовая единица — трансформерный уровень, состоящий из механизма самовнимания и сети прямого распространения; в большой модели таких уровней десятки. Механизм самовнимания вычисляет для каждого токена запросы (Q), ключи (K) и значения (V) через умножение входных векторных представлений на изученные матрицы весов. Эти матрицы изначально случайны и корректируются в процессе обратного распространения, чтобы извлекать из данных полезные паттерны.

🔗 Читать на habr.com