# Легкие LLM на VPS без GPU: 4B-модели дают 90% точности за 3–5 секунд

> 2026-11-16 · AI Release · @ai_release1

> #LLM #Ollama #VPS #бенчмарки #AI #нейросети #MachineLearning #ChatGPT

### ⚡ Главное за 5 секунд - На VPS с 8 ГБ RAM и 5 vCPU модели на 2–4B классифицируют обращения за 3–5 сек с точностью около 90%. - Кэш промптов в Ollama ускоряет ответ в 2–3 раза: QVikhr-3-4B — 3,8 сек с кэшем против 12,4 сек без. - Модели на 8–10B не обогнали 4B по скорости; на 8 ГБ RAM кэш по умолчанию съедает память — автор советует `LLAMA_ARG_CACHE_RAM=1024`. ### 🔍 Что случилось Автор Хабра vechersky выложил вторую часть разбора легких LLM на CPU. Стенд: VPS у JustHost, Intel Xeon Gold 6148, 5 vCPU, 8 ГБ RAM, swap 4 ГБ, Ubuntu 24.04, Ollama 0.35.0 в Docker, внутри llama.cpp сборки `161755f29`. К моделям из первой части (QVikhr-3-4B, qwen3.5:2b и 4b, gemma3:4b, granite4:micro-h) добавили пять покрупнее, все с Hugging Face в квантизации Q4_K_M: GigaChat 3.1 Lightning 10B на 6,5 ГБ (MoE, на каждый токен работает 1,8B параметров), T-lite-it-2.1 8B на 5,0 ГБ, YandexGPT-5-Lite-8B-instruct на 4,9 ГБ, Qwen3-8B на 5,0 ГБ и GLM-4-9B-0414 на 6,2 ГБ. Главная цифра — 326 обращений и точность 87–92% у девяти моделей из десяти. В первом заходе было 20 примеров, и семь моделей выбили 100%: разница между этими тестами и есть главный вывод статьи. Дальше механика. Если все запросы начинаются с одной инструкции, модель кэширует её и читает только переменную часть — общую инструкцию ставят в начало промпта, текст обращения в конец. Отдельно проверена decision-модель d1-2B: по точности она на уровне генеративных, но выдаёт честную вероятность, и при пороге 0,9 взяла бы 69% обращений с точностью 97%, остальное отдав человеку. ### 🧠 Наш разбор Смена масштаба теста — самое ценное в этом материале. 20 примеров и 326 примеров дают разный ответ на один и тот же вопрос, и это не про модели, а про методику. Наша оценка: любой, кто выбирает LLM по демо на пяти промптах, покупает лотерейный билет. Разница в 2–3 пункта между лидерами внутри статпогрешности, так что решать надо по скорости и памяти, а не по строчке в таблице. Второй вывод бьёт по маркетингу «чем больше, тем умнее». 8–10B на CPU не обогнали лучшие 4B, а работали медленнее; исключение по скорости — GigaChat 3.1 Lightning с MoE. Мы считаем, что для фоновой обработки текста это уже приговор идее «поднимем большую модель на слабой машине». Классификация за 3–5 секунд — норма, ответы по базе знаний и резюме за 0,5–2,5 минуты — норма для очереди, но не для чата с клиентом. Переход с 4 на 8 ГБ RAM убрал падения по памяти на длинных текстах, а пятый vCPU дал 20–25% к чтению промпта и около 10% к генерации: память здесь дешевле ядер. Кто выигрывает — провайдеры VPS и команды, которым хватает 8 ГБ. Кто проигрывает — те, кто продаёт «GPU-обязательность» для рутины. Но честно: один стенд, один провайдер, свой набор обращений. Обобщать на свою задачу без перепроверки я бы не стал. ### ⚠️ Чего мы не знаем В источнике один автор, один VPS и один набор из 326 обращений — какие именно это были тексты и насколько они похожи на ваши, неизвестно. Steal за 41 час в среднем 0,2% и пик 6,4% — хороший показатель, но соседи по хосту меняются. Нет сравнения с квантованием кроме Q4_K_M и нет замера на 16 ГБ RAM, так что «8 ГБ достаточно» — это про этот стенд, а не про любую нагрузку. Проверять надо на своих сотнях примеров. ### 💬 О чём спорить - Ставить 4B и мириться с 90% точности или взять d1-2B с порогом и отдавать спорное человеку? - Экономить на памяти (4 ГБ) и ловить OOM на длинных текстах или сразу брать 8 ГБ и не думать? - Стоит ли вообще держать LLM на своём VPS, если та же классификация уходит в API за копейки? **Прогноз:** в течение квартала жду волны аналогичных замеров «4B на 8 ГБ» с публикацией конфигов Ollama — тема слишком дешёвая, чтобы её не перепроверили. **Дисклеймер:** один источник — замеры одного автора на одном стенде, официально не подтверждено. **Источник:** Хабр

[Источник](https://habr.com/ru/articles/1108600/)
