EN

Легкие LLM на VPS без GPU: 4B-модели дают 90% точности за 3–5 секунд

Опубликовано: 2026-11-16 · Автор: AI Release · @ai_release1 · ИИ и Нейросети · Релиз / Официально
Легкие LLM на VPS без GPU: 4B-модели дают 90% точности за 3–5 секунд

⚡ Главное за 5 секунд

🔍 Что случилось

Автор Хабра vechersky выложил вторую часть разбора легких LLM на CPU. Стенд: VPS у JustHost, Intel Xeon Gold 6148, 5 vCPU, 8 ГБ RAM, swap 4 ГБ, Ubuntu 24.04, Ollama 0.35.0 в Docker, внутри llama.cpp сборки 161755f29. К моделям из первой части (QVikhr-3-4B, qwen3.5:2b и 4b, gemma3:4b, granite4:micro-h) добавили пять покрупнее, все с Hugging Face в квантизации Q4_K_M: GigaChat 3.1 Lightning 10B на 6,5 ГБ (MoE, на каждый токен работает 1,8B параметров), T-lite-it-2.1 8B на 5,0 ГБ, YandexGPT-5-Lite-8B-instruct на 4,9 ГБ, Qwen3-8B на 5,0 ГБ и GLM-4-9B-0414 на 6,2 ГБ.

Главная цифра — 326 обращений и точность 87–92% у девяти моделей из десяти. В первом заходе было 20 примеров, и семь моделей выбили 100%: разница между этими тестами и есть главный вывод статьи. Дальше механика. Если все запросы начинаются с одной инструкции, модель кэширует её и читает только переменную часть — общую инструкцию ставят в начало промпта, текст обращения в конец. Отдельно проверена decision-модель d1-2B: по точности она на уровне генеративных, но выдаёт честную вероятность, и при пороге 0,9 взяла бы 69% обращений с точностью 97%, остальное отдав человеку.

🧠 Наш разбор

Смена масштаба теста — самое ценное в этом материале. 20 примеров и 326 примеров дают разный ответ на один и тот же вопрос, и это не про модели, а про методику. Наша оценка: любой, кто выбирает LLM по демо на пяти промптах, покупает лотерейный билет. Разница в 2–3 пункта между лидерами внутри статпогрешности, так что решать надо по скорости и памяти, а не по строчке в таблице.

Второй вывод бьёт по маркетингу «чем больше, тем умнее». 8–10B на CPU не обогнали лучшие 4B, а работали медленнее; исключение по скорости — GigaChat 3.1 Lightning с MoE. Мы считаем, что для фоновой обработки текста это уже приговор идее «поднимем большую модель на слабой машине». Классификация за 3–5 секунд — норма, ответы по базе знаний и резюме за 0,5–2,5 минуты — норма для очереди, но не для чата с клиентом. Переход с 4 на 8 ГБ RAM убрал падения по памяти на длинных текстах, а пятый vCPU дал 20–25% к чтению промпта и около 10% к генерации: память здесь дешевле ядер.

Кто выигрывает — провайдеры VPS и команды, которым хватает 8 ГБ. Кто проигрывает — те, кто продаёт «GPU-обязательность» для рутины. Но честно: один стенд, один провайдер, свой набор обращений. Обобщать на свою задачу без перепроверки я бы не стал.

⚠️ Чего мы не знаем

В источнике один автор, один VPS и один набор из 326 обращений — какие именно это были тексты и насколько они похожи на ваши, неизвестно. Steal за 41 час в среднем 0,2% и пик 6,4% — хороший показатель, но соседи по хосту меняются. Нет сравнения с квантованием кроме Q4_K_M и нет замера на 16 ГБ RAM, так что «8 ГБ достаточно» — это про этот стенд, а не про любую нагрузку. Проверять надо на своих сотнях примеров.

💬 О чём спорить

  • Ставить 4B и мириться с 90% точности или взять d1-2B с порогом и отдавать спорное человеку?
  • Экономить на памяти (4 ГБ) и ловить OOM на длинных текстах или сразу брать 8 ГБ и не думать?
  • Стоит ли вообще держать LLM на своём VPS, если та же классификация уходит в API за копейки?

Прогноз: в течение квартала жду волны аналогичных замеров «4B на 8 ГБ» с публикацией конфигов Ollama — тема слишком дешёвая, чтобы её не перепроверили.

Дисклеймер: один источник — замеры одного автора на одном стенде, официально не подтверждено.

Источник: Хабр

🤖 Кратко для ИИ
  • Дата: 2026-11-16
  • Источник: habr.com
  • Теги: LLM, Ollama, VPS, бенчмарки, AI, нейросети, MachineLearning, ChatGPT
  • Ключевые факты:
    • На VPS с 8 ГБ RAM и 5 vCPU модели на 2–4B классифицируют обращения за 3–5 сек с точностью около 90%.
    • Кэш промптов в Ollama ускоряет ответ в 2–3 раза: QVikhr-3-4B — 3,8 сек с кэшем против 12,4 сек без.
    • Модели на 8–10B не обогнали 4B по скорости; на 8 ГБ RAM кэш по умолчанию съедает память — автор советует LLAMA_ARG_CACHE_RAM=1024 .
    • Автор Хабра vechersky выложил вторую часть разбора легких LLM на CPU.
    • Стенд: VPS у JustHost, Intel Xeon Gold 6148, 5 vCPU, 8 ГБ RAM, swap 4 ГБ, Ubuntu 24.04, Ollama 0.35.0 в Docker, внутри llama.cpp сборки 161755f29 .
    • К моделям из первой части (QVikhr-3-4B, qwen3.5:2b и 4b, gemma3:4b, granite4:micro-h) добавили пять покрупнее, все с Hugging Face в квантизации Q4_K_M: GigaChat 3.1 Lightning 10B на 6,5 ГБ (MoE, на каждый токен работает 1,8B параметров), T-lite-it-2.1 8B на 5,0 ГБ, YandexGPT-5-Lite-8B-instruct на 4,9 ГБ, Qwen3-8B на 5,0 ГБ и GLM-4-9B-0414 на 6,2 ГБ.
    • Главная цифра — 326 обращений и точность 87–92% у девяти моделей из десяти.
    • В первом заходе было 20 примеров, и семь моделей выбили 100%: разница между этими тестами и есть главный вывод статьи.
#LLM#Ollama#VPS#бенчмарки#AI#нейросети#MachineLearning#ChatGPT
← ПредыдущаяКалифорния подала в суд на OpenAI за атаку ИИ-агентов на Hugging Face

Источник: habr.com · пост в Telegram