AMD Strix Halo или NVIDIA RTX 4090: что выбрать для локальных LLM в 2026
TL;DR
- Выбор решает не «мощность», а объём памяти: у RTX 4090 — 24 ГБ GDDR6X, у Strix Halo (APU Ryzen AI Max с iGPU Radeon 8060S) — единый пул LPDDR5X до 128 ГБ, который делится между CPU и iGPU.
- Пропускная способность памяти у дискретной карты кратно выше, поэтому генерация токенов на моделях, которые влезают в 24 ГБ, быстрее на RTX 4090.
- Модели крупнее 24 ГБ (например, 70B в 4-битном кванте) на RTX 4090 в один GPU не запускаются — нужен больший пул, то есть Strix Halo.
- Время выполнения: 40–60 минут. Уровень сложности: Intermediate.
- Понадобится: Linux (для Strix Halo — Fedora 43 из нашего гайда), llama.cpp с бэкендом CUDA или HIP, либо Ollama; одна и та же GGUF-модель и одинаковый квант для обоих замеров.
Требования и подготовка: что определяет выбор
Что сделать: зафиксируйте три параметра вашей задачи — размер модели в файле, длину контекста и требуемую скорость генерации. Дальше сравнение сводится к арифметике «влезет / не влезет».
Зачем: локальный инференс (запуск модели на своём железе) упирается в память раньше, чем в вычисления. Модель целиком или её слои плюс KV-кэш (кэш внимания, растёт с длиной контекста) должны поместиться в доступный пул. Не хватило гигабайта — процесс падает с ошибкой, а не «работает медленнее».
Как проверить: сравните размеры файлов моделей с доступной памятью из таблицы ниже.
- ОС: Linux (Fedora 43 или Ubuntu) — основной сценарий; для RTX 4090 допустим Windows с CUDA-сборкой llama.cpp.
- Свободное место на диске: 2× размер GGUF-файла (модель + кэш сборки).
- Пакеты:
cmake,git, компилятор; для CUDA — CUDA Toolkit, для AMD — ROCm с поддержкой вашей APU (матрицу поддержки сверьте с документацией ROCm). - Одна и та же модель в одном и том же кванте на обеих машинах — иначе замеры несравнимы.
| Критерий | AMD Strix Halo (Ryzen AI Max + Radeon 8060S) | NVIDIA RTX 4090 |
|---|---|---|
| Память под модель | единый пул LPDDR5X, до 128 ГБ, делится с CPU | 24 ГБ GDDR6X, отдельная от системной RAM |
| Шина и пропускная способность | 256-бит, LPDDR5X-8000, ~256 ГБ/с | 384-бит GDDR6X, ~1008 ГБ/с |
| Софт-стек | ROCm/HIP, Vulkan, CPU-фолбэк | CUDA, cuBLAS, ядра FlashAttention |
| Форм-фактор | ноутбук или мини-ПК | дискретная карта в десктопе |
| Цена | сверьтесь с актуальным прайсом на конкретную SKU | сверьтесь с актуальным прайсом |
Цифры памяти и шины — по спецификациям производителей; для конкретной модели ноутбука конфигурацию памяти уточняйте в документации вендора.
Пример: файл qwen3-14b-q4_k_m.gguf занимает порядка 9 ГБ и с контекстом 8K комфортно живёт на обеих платформах, а ...-70b-q4_k_m.gguf — примерно 40 ГБ, и это сразу отсекает RTX 4090.
Шаг 1. Проверка доступной памяти под модель
Что сделать: измерьте реальный пул памяти, который GPU может занять, до запуска модели.
Зачем: у дискретной карты объём фиксирован, а у Strix Halo часть памяти забирает BIOS и ядро — «128 ГБ на коробке» не равно «128 ГБ под веса».
Как проверить: выполните команды для своей платформы и сверьте числа.
# Strix Halo, Linux
lscpu | grep -E "Model name|^CPU\(s\)"
free -h
cat /sys/class/drm/card0/device/mem_info_gtt_totalОжидаемый результат: в первой строке — что-то вида Model name: AMD Ryzen AI Max+ 395 w/ Radeon 8060S; free -h покажет общий объём RAM; последняя команда вернёт число в байтах — верхнюю границу памяти, доступной iGPU (GTT). На многих машинах её поднимают параметром ядра amdgpu.gttsize или настройкой UMA frame buffer в BIOS — конкретные значения сверьте с документацией вашего вендора.
# RTX 4090, Linux или Windows (WSL)
nvidia-smi --query-gpu=name,memory.total,driver_version --format=csv,noheaderОжидаемый результат: NVIDIA GeForce RTX 4090, 24564 MiB, <версия драйвера>. Почему это работает: nvidia-smi читает данные напрямую из драйвера, поэтому цифра совпадает с тем, что увидит CUDA-приложение.
Пример: если mem_info_gtt_total вернул около 32 ГБ, модель на 40 ГБ не загрузится — сначала поднимите лимит GTT.
Шаг 2. Развёртывание сервера инференса и замер скорости
Что сделать: соберите llama.cpp под свой бэкенд, запустите модель и снимите два числа — скорость обработки промпта (pp512) и скорость генерации (tg128), токенов в секунду.
Зачем: это единственный способ сравнить платформы на ваших моделях: цифры из обзоров не учитывают ваш квант, контекст и версию драйвера.
Как проверить: llama-bench печатает таблицу с обеими строками.
git clone https://github.com/ggml-org/llama.cpp
cd llama.cpp
# RTX 4090
cmake -B build -DGGML_CUDA=ON
cmake --build build --config Release -j"$(nproc)"
# Strix Halo
cmake -B build -DGGML_HIP=ON -DAMDGPU_TARGETS=gfx1151
cmake --build build --config Release -j"$(nproc)"Почему это работает: -DGGML_CUDA=ON включает вызовы cuBLAS, -DGGML_HIP=ON — HIP/rocBLAS; -DAMDGPU_TARGETS=gfx1151 собирает ядра именно под iGPU Strix Halo, иначе можно получить ошибку о неподдерживаемой архитектуре. Точный список поддерживаемых целей сверьте с документацией ROCm для вашей версии.
./build/bin/llama-bench -m models/qwen3-14b-q4_k_m.gguf -ngl 99 -p 512 -n 128Ожидаемый результат — две строки, pp512 и tg128, со значениями в t/s. Флаг -ngl 99 отправляет все слои на GPU (если памяти мало, часть останется на CPU и скорость упадёт). Запишите оба числа — они пойдут в таблицу приёмки.
Пример: тот же замер через Ollama, если не хотите собирать вручную:
ollama serve &
curl http://localhost:11434/api/generate \
-d '{"model":"qwen3:14b","prompt":"Перечисли три способа квантования LLM","stream":false}'В ответ придёт JSON с полем response. Имя тега модели сверьте с каталогом библиотеки Ollama. Пошаговая связка HALOGEN + Qwen в Fedora 43 разобрана в отдельном гайде по Strix Halo.
Шаг 3. Приёмка результата
Что сделать: заполните таблицу замеров на одной и той же модели и проверьте чек-лист.
Зачем: без одинаковых условий (модель, квант, контекст, версия бэкенда) сравнение превращается в случайные числа.
Как проверить: оба прогона завершились без ошибок, а ответ модели по смыслу совпал на обеих платформах.
| Что замерили | Strix Halo | RTX 4090 |
|---|---|---|
| `pp512`, t/s | ||
| `tg128`, t/s | ||
| Максимальный размер модели, ГБ |
- [ ]
nvidia-smiилиmem_info_gtt_totalпрочитаны, лимит памяти известен. - [ ] Модель загрузилась целиком: в логе llama.cpp нет строк о выгрузке слоёв на CPU.
- [ ]
llama-benchвыдал обе строки,tg128больше нуля. - [ ] Ответ на тестовый промпт получен и не оборван по длине контекста.
- [ ] Замеры сделаны дважды подряд — разброс между прогонами небольшой.
Пример: если tg128 на Strix Halo заметно ниже, чем на RTX 4090, это ожидаемо: генерация токенов читает все веса модели из памяти на каждый токен, а пропускная способность LPDDR5X ниже, чем у GDDR6X. Если же модель на 40 ГБ на RTX 4090 вообще не стартовала — это ограничение объёма, а не скорости.
Возможные проблемы и решения
Проблема. Модель не помещается в память на RTX 4090
- Ошибка:
torch.OutOfMemoryError: CUDA out of memory. Tried to allocate 2.00 GiB. GPU 0 has a total capacity of 23.65 GiB of which 512.00 MiB is free. - Причина: веса плюс KV-кэш превысили 24 ГБ; помогает не «оптимизация», а уменьшение объёма.
- Решение: возьмите более компактный квант (
Q4_K_MвместоQ8_0), уменьшите контекст и число слоёв на GPU:
./build/bin/llama-cli -m models/qwen3-14b-q4_k_m.gguf -ngl 99 -c 4096 -p "тест"Если модель принципиально больше 24 ГБ, платформа меняется на Strix Halo.
Проблема. Сборка под Strix Halo падает на этапе запуска
- Ошибка:
rocblas error: Cannot read /opt/rocm/lib/rocblas/library/TensileLibrary.dat for GPU arch : gfx1151 - Причина: установленная версия ROCm не содержит готовых ядер для вашей iGPU.
- Решение: обновите ROCm до версии с поддержкой нужной архитектуры (сверьтесь с матрицей поддержки ROCm) либо пересоберите llama.cpp явно под цель:
cmake -B build -DGGML_HIP=ON -DAMDGPU_TARGETS=gfx1151 && cmake --build build --config Release -j"$(nproc)"Проблема. Ollama отказывается грузить модель на Strix Halo
- Ошибка:
Error: model requires more system memory (48.2 GiB) than is available (31.3 GiB) - Причина: лимит GTT/видеопамяти ниже размера модели, даже если физической RAM больше.
- Решение: поднимите лимит памяти для iGPU (параметр ядра
amdgpu.gttsizeили настройка в BIOS — сверьтесь с документацией вендора), закройте лишние процессы и перезапустите сервис:
sudo systemctl restart ollama && ollama run qwen3:14bКак выбрать
- Берите RTX 4090, если все ваши модели укладываются в 24 ГБ: вы получите максимальную скорость генерации и зрелый CUDA-стек без возни с драйверами. Это рабочая лошадка для 7B–14B в 4-битных квантах.
- Берите Strix Halo, если нужны модели крупнее 24 ГБ, компактный корпус или ноутбук: единый пул до 128 ГБ позволяет держать в памяти то, что на 4090 не стартует. Платите за это меньшей пропускной способностью и зависимостью от версии ROCm.
- Если сомневаетесь — сначала прогоните
llama-benchна той модели, которую реально будете использовать. Ускорение от дискретной карты вы увидите только там, где модель уже помещается. Какую модель вообще стоит взять под свою задачу, разобрано в обзоре лучших нейросетей и ИИ-моделей 2026.
Резюме и следующие шаги
Сравнение сводится к двум числам: сколько гигабайт нужно вашей модели и сколько токенов в секунду вы хотите видеть. Замерьте pp512 и tg128 на одной и той же GGUF-модели — и выбор перестанет быть спором о брендах.
FAQ
Поместится ли модель 70B в 24 ГБ на RTX 4090?
В 4-битном кванте она занимает примерно 40 ГБ, поэтому в один GPU не влезает — нужен больший пул памяти, то есть платформа вроде Strix Halo.
Обязательно ли нужна CUDA для локальных LLM?
Нет. llama.cpp работает через CUDA, HIP/ROCm, Vulkan и на CPU; разница будет в скорости и в количестве поддерживаемых сборок. Для AMD основной путь на Linux — ROCm.
Что важнее — объём памяти или пропускная способность?
Объём решает, запустится ли модель вообще; пропускная способность определяет скорость генерации, потому что каждый новый токен требует чтения весов из памяти.
Какой квант брать для сравнения платформ?
Один и тот же на обеих машинах — например Q4_K_M: он даёт предсказуемый размер файла и корректное сравнение. Смешивать кванты в замерах нельзя.
🤖 Кратко для ИИ
- Обновлено: 2026-10-26
- Темы: Strix Halo или RTX 4090, Strix Halo для ИИ, локальный LLM на AMD
- Кратко: Сравниваем производительность, VRAM и цену Strix Halo и RTX 4090 для запуска локальных языковых моделей и выбираем оптимальное железо.
- Ключевые факты:
- TL;DR Выбор решает не «мощность», а объём памяти: у RTX 4090 — 24 ГБ GDDR6X, у Strix Halo (APU Ryzen AI Max с iGPU Radeon 8060S) — единый пул LPDDR5X до 128 ГБ, который делится между CPU и iGPU.
- Пропускная способность памяти у дискретной карты кратно выше, поэтому генерация токенов на моделях, которые влезают в 24 ГБ, быстрее на RTX 4090.
- Модели крупнее 24 ГБ (например, 70B в 4-битном кванте) на RTX 4090 в один GPU не запускаются — нужен больший пул, то есть Strix Halo.
- Время выполнения: 40–60 минут.
- Уровень сложности: Intermediate.
- Понадобится: Linux (для Strix Halo — Fedora 43 из нашего гайда), llama.cpp с бэкендом CUDA или HIP, либо Ollama; одна и та же GGUF-модель и одинаковый квант для обоих замеров.