# LLM локально на Windows: WSL2, Docker, CUDA и vLLM — разбор стека

> 2026-10-06 · AI Release · @ai_release1

> #LLM #Windows #WSL2 #Docker #CUDA #vLLM

### ⚡ Главное за 5 секунд - Суть: развертывание LLM Qwen3-0.6B на Windows 11 через WSL2, Docker, NVIDIA Container Toolkit и vLLM с полным разбором уровней стека. - Где доступно: на обычной NVIDIA-видеокарте с 4 ГБ VRAM — автор тестировал на GPU уровня RTX 3050. - Ограничения: нужны WSL2, драйвер NVIDIA, совместимый с WSL2, от 16 ГБ ОЗУ и 30–50 ГБ свободного места. ### 🔍 Что обнаружено В переводе гайда Harshit Kumar, опубликованном на Хабре, описывается полный стек для локального запуска Qwen3-0.6B на Windows 11. Цепочка включает WSL2, Docker Engine, NVIDIA Container Toolkit и vLLM. Автор подчеркивает, что большинство инструкций дают лишь одну-две команды, которые работают до первой ошибки. После этого непонятно, на каком уровне возникла проблема: в Windows, WSL2, драйвере NVIDIA, Docker, CUDA или самом inference-сервере. Поэтому гайд предлагает проверять инфраструктуру снизу вверх. Конфигурация для теста — обычная NVIDIA-видеокарта с 4 ГБ VRAM, примерно уровня RTX 3050. На такой карте можно реально запустить модель на 0,6 млрд параметров, но нужно учитывать, что память расходуется на веса, KV cache, CUDA context и runtime buffers. Шаги начинаются с установки WSL2 и Ubuntu через wsl --install и проверки GPU командой nvidia-smi. Если nvidia-smi не работает, переходить к Docker нет смысла — проблема ниже по стеку. После обновления Ubuntu устанавливается Docker Engine с официального репозитория, добавляется GPG-ключ. Затем устанавливается NVIDIA Container Toolkit, который настраивает Docker runtime и предоставляет контейнерам доступ к GPU. Ключевая проверка — запуск CUDA-контейнера nvidia/cuda:12.8.1-base-ubuntu24.04 с nvidia-smi внутри. Только после успешного прохождения этой проверки загружается образ vllm/vllm-openai:latest, у которого vllm serve настроен как entrypoint. Автор отдельно поясняет разницу между Docker image (Python, PyTorch, CUDA-библиотеки, vLLM — несколько гигабайт) и кэшем модели (~/.cache/huggingface с весами, токенизатором и конфигурацией). Их удобно разделять: при пересоздании контейнера модель не придется скачивать заново. ### 💡 Почему это важно Практическая польза гайда — не просто получить ответы от модели, а понять, как устроен весь стек. Такой подход позволяет самостоятельно диагностировать ошибки на любом уровне, менять модели и постепенно двигаться к инфраструктуре, похожей на production. Вместо черного ящика из одной команды вы получаете прозрачную цепочку, где каждый компонент можно проверить отдельно. Если что-то падает, вы точно знаете, где искать. ### 🧩 Контекст Материал — перевод статьи Harshit Kumar, опубликованный на Хабре. Текст относится к темам машинного обучения, DevOps, GPGPU и Linux. Автор исходит из наблюдения, что большинство инструкций по локальному запуску LLM сводятся к одной-двум командам. Такой подход работает до первой ошибки, после чего становится непонятно, на каком уровне она возникла. Чтобы это исправить, в гайде разворачивают Qwen3-0.6B на Windows 11 и объясняют роль каждого компонента: WSL2, драйвер NVIDIA, Docker, CUDA и vLLM. Проверенная конфигурация — GPU с 4 ГБ VRAM, так что для экспериментов подойдет относительно скромное железо.

[Источник](https://habr.com/ru/articles/1091060/)