LLAMA_ARG_CACHE_RAM=1024.Автор Хабра vechersky выложил вторую часть разбора легких LLM на CPU. Стенд: VPS у JustHost, Intel Xeon Gold 6148, 5 vCPU, 8 ГБ RAM, swap 4 ГБ, Ubuntu 24.04, Ollama 0.35.0 в Docker, внутри llama.cpp сборки 161755f29. К моделям из первой части (QVikhr-3-4B, qwen3.5:2b и 4b, gemma3:4b, granite4:micro-h) добавили пять покрупнее, все с Hugging Face в квантизации Q4_K_M: GigaChat 3.1 Lightning 10B на 6,5 ГБ (MoE, на каждый токен работает 1,8B параметров), T-lite-it-2.1 8B на 5,0 ГБ, YandexGPT-5-Lite-8B-instruct на 4,9 ГБ, Qwen3-8B на 5,0 ГБ и GLM-4-9B-0414 на 6,2 ГБ.
Главная цифра — 326 обращений и точность 87–92% у девяти моделей из десяти. В первом заходе было 20 примеров, и семь моделей выбили 100%: разница между этими тестами и есть главный вывод статьи. Дальше механика. Если все запросы начинаются с одной инструкции, модель кэширует её и читает только переменную часть — общую инструкцию ставят в начало промпта, текст обращения в конец. Отдельно проверена decision-модель d1-2B: по точности она на уровне генеративных, но выдаёт честную вероятность, и при пороге 0,9 взяла бы 69% обращений с точностью 97%, остальное отдав человеку.
Смена масштаба теста — самое ценное в этом материале. 20 примеров и 326 примеров дают разный ответ на один и тот же вопрос, и это не про модели, а про методику. Наша оценка: любой, кто выбирает LLM по демо на пяти промптах, покупает лотерейный билет. Разница в 2–3 пункта между лидерами внутри статпогрешности, так что решать надо по скорости и памяти, а не по строчке в таблице.
Второй вывод бьёт по маркетингу «чем больше, тем умнее». 8–10B на CPU не обогнали лучшие 4B, а работали медленнее; исключение по скорости — GigaChat 3.1 Lightning с MoE. Мы считаем, что для фоновой обработки текста это уже приговор идее «поднимем большую модель на слабой машине». Классификация за 3–5 секунд — норма, ответы по базе знаний и резюме за 0,5–2,5 минуты — норма для очереди, но не для чата с клиентом. Переход с 4 на 8 ГБ RAM убрал падения по памяти на длинных текстах, а пятый vCPU дал 20–25% к чтению промпта и около 10% к генерации: память здесь дешевле ядер.
Кто выигрывает — провайдеры VPS и команды, которым хватает 8 ГБ. Кто проигрывает — те, кто продаёт «GPU-обязательность» для рутины. Но честно: один стенд, один провайдер, свой набор обращений. Обобщать на свою задачу без перепроверки я бы не стал.
В источнике один автор, один VPS и один набор из 326 обращений — какие именно это были тексты и насколько они похожи на ваши, неизвестно. Steal за 41 час в среднем 0,2% и пик 6,4% — хороший показатель, но соседи по хосту меняются. Нет сравнения с квантованием кроме Q4_K_M и нет замера на 16 ГБ RAM, так что «8 ГБ достаточно» — это про этот стенд, а не про любую нагрузку. Проверять надо на своих сотнях примеров.
Прогноз: в течение квартала жду волны аналогичных замеров «4B на 8 ГБ» с публикацией конфигов Ollama — тема слишком дешёвая, чтобы её не перепроверили.
Дисклеймер: один источник — замеры одного автора на одном стенде, официально не подтверждено.
Источник: Хабр
Источник: habr.com · пост в Telegram