# Что такое NPU и как выбрать мини-ПК для локального запуска ИИ

> AI Release · @ai_release1 · https://ai-release.org/guides/chto-takoe-npu-i-kak-vybrat-mini-pk-dlya-lokalnogo-zapu.html

NPU — это нейропроцессор, специальный блок для ускорения вычислений искусственного интеллекта. Мини-ПК с NPU позволяют запускать ИИ-модели локально, без отправки данных в облако.

## TL;DR
- NPU — отдельный чип для задач ИИ, который разгружает CPU и GPU.
- Для локального запуска больших языковых моделей решающее значение имеет объём оперативной памяти.
- Мини-ПК с NPU подходят для обработки изображений, голосовых ассистентов и небольших LLM.
- При выборе смотрите на производительность NPU в TOPS и на совместимость с популярным ПО.
- Локальный запуск ИИ сохраняет конфиденциальность данных и работает без интернета.

## Что такое NPU

NPU (Neural Processing Unit) — это специализированный процессор, созданный для операций машинного обучения. В отличие от универсального CPU, он оптимизирован под матричные вычисления, которые лежат в основе нейросетей.

В декабре 2023 года Intel выпустила процессоры Core Ultra со встроенным NPU. Вслед за ней AMD представила платформу Ryzen AI, а Qualcomm — Snapdragon X Elite. С тех пор NPU стал стандартным компонентом современных мини-ПК и ноутбуков.

## Чем NPU отличается от CPU и GPU

CPU выполняет любые задачи, но медленно обрабатывает параллельные операции. GPU ускоряет графику и хорошо справляется с матричными вычислениями, но потребляет много энергии. NPU работает только с ИИ-задачами, но делает это максимально эффективно.

Для локального запуска ИИ это означает следующее: NPU берёт на себя инференс (выполнение модели), а CPU и GPU остаются свободными для других задач. При этом NPU потребляет значительно меньше энергии, чем GPU.

## Какие модели можно запускать локально

Современные мини-ПК с NPU справляются с небольшими языковыми моделями. Например, модели семейства Phi-3 от Microsoft, выпущенные в апреле 2024 года, работают на устройствах с ограниченными ресурсами. Открытые модели Llama 3 и Gemma от Google также доступны для локального запуска.

Для запуска используются инструменты вроде Ollama и llama.cpp. Они позволяют скачать модель и запустить её одной командой. Большие модели требуют много оперативной памяти, поэтому на мини-ПК чаще запускают модели с 1–8 миллиардами параметров.

## Как выбрать мини-ПК с NPU

Первое, на что стоит смотреть, — производительность NPU. Она измеряется в TOPS (триллионы операций в секунду). Чем выше показатель, тем быстрее работает модель. Для базовых задач хватает 10–20 TOPS, для более серьёзных — от 30 TOPS.

Второе — оперативная память. Для локального запуска LLM нужно минимум 16 ГБ, комфортно — 32 ГБ и больше. Модель загружается в память целиком, и её объём напрямую определяет, какую модель вы сможете запустить.

Третье — поддержка ПО. Убедитесь, что выбранный NPU поддерживается инструментами вроде Ollama и llama.cpp. Без совместимости производительность чипа не имеет значения.

## Экосистемы и платформы

На рынке есть несколько основных платформ. Intel Core Ultra с NPU появился в декабре 2023 года. AMD развивает платформу Ryzen AI. Qualcomm продвигает Snapdragon X для мини-ПК и ноутбуков.

Отдельно стоит упомянуть Apple: её чипы M-серии включают Neural Engine с 2017 года. Однако для мини-ПК чаще выбирают Windows-устройства на базе Intel, AMD или Qualcomm, так как для них больше совместимого ПО.

## Практические советы

Начните с простых моделей. Установите Ollama, скачайте небольшую модель и проверьте скорость работы. Если модель отвечает медленно, попробуйте модель с меньшим числом параметров.

Обратите внимание на охлаждение. Мини-ПК компактны, и при длительной нагрузке NPU может перегреваться. Выбирайте модели с хорошей системой охлаждения.

Не забывайте про апгрейд. Оперативную память и накопитель во многих мини-ПК можно заменить. Это продлит жизнь устройству, когда появятся более требовательные модели.

## FAQ

**Что такое NPU?**
NPU — это нейропроцессор, специализированный чип для ускорения вычислений искусственного интеллекта, который устанавливается в современные процессоры и мини-ПК.

**Чем NPU отличается от GPU?**
GPU — универсальный ускоритель графики и вычислений, а NPU заточен только под задачи ИИ и потребляет значительно меньше энергии.

**Как выбрать мини-ПК для локального запуска ИИ?**
Смотрите на производительность NPU в TOPS, объём оперативной памяти (от 16 ГБ) и совместимость с инструментами вроде Ollama и llama.cpp.

**Сколько оперативной памяти нужно для локального ИИ?**
Минимум 16 ГБ, комфортно — 32 ГБ и больше, так как модель целиком загружается в память.