DeepSeek на 284B запустили на 64 ГБ RAM без GPU: как устроен llama-modchip

⚡ Главное за 5 секунд

• Репозиторий synchopate/llama-modchip обещает запуск 284B-модели DeepSeek на 64 ГБ RAM без видеокарты.
• На Hacker News пост собрал 402 балла и 180 комментариев — интерес к локальному инференсу большой.
• Условие одно: 64 ГБ памяти. Но при такой математике модель влезает только в очень злую квантизацию.

🔍 Что случилось

На GitHub появился репозиторий synchopate/llama-modchip. В заголовке заявлено прямо: 284B DeepSeek на 64 ГБ RAM, без GPU. Тред на Hacker News набрал 402 балла и 180 комментариев — для узкой темы локального инференса это заметная реакция. То есть люди не просто пролистали ссылку, а пошли спорить.

Механика, если читать название буквально: «modchip» — отсылка к чипам для консолей, то есть к обходному пути. Наша догадка: проект не запускает модель «как есть», а играет с тем, где лежат веса. Дальше начинается арифметика, которую может проверить любой. 284B параметров в 4 битах — это примерно 142 ГБ, в 2 битах — около 71 ГБ, в 1,6 бита — порядка 57 ГБ. В 64 ГБ помещается только последний вариант. Значит, либо экстремальная квантизация ниже 2 бит на вес, либо веса не держат в памяти целиком, а подкачивают с диска через mmap, и тогда 64 ГБ — это кэш страниц, а не хранилище модели.

Второй момент, который часто путают. У DeepSeek архитектура MoE: на каждый токен работает лишь часть экспертов. Это экономит вычисления, но не память — все веса всё равно нужно где-то разместить. Так что MoE сам по себе 64 ГБ не спасает.

🧠 Наш разбор

Наша оценка: интерес к таким проектам возник не из любви к рекордам, а из вполне бытовой причины — цены на видеокарты с нормальным объёмом памяти. Когда 24 ГБ стоят как подержанная машина, люди начинают искать, как выжать большие модели из обычной DDR5. Отсюда и волна проектов вокруг MoE-моделей и агрессивной квантизации.

Что это меняет по факту? Пока немногое. Мы считаем, что главный дефицит здесь не память, а скорость: на CPU инференс упирается в пропускную способность оперативки, а не в число ядер. Если веса ещё и подкачиваются с SSD, счёт идёт на секунды до первого токена. Это не замена GPU, а другой жанр — «пусть медленно, зато локально и без цензуры облака».

Кто выигрывает — понятно: те, кому важен приватный инференс на своей машине и у кого есть 64 ГБ. Кто проигрывает — те, кто прочитает заголовок «284B на 64 ГБ» и решит, что теперь у него в ноутбуке полноценный фронтир-бот. Разница между 284B в 1,6 бита и 284B в BF16 по качеству огромная, и название репозитория эту разницу не проговаривает.

⚠️ Чего мы не знаем

Главное слабое место — мы видели только заголовок и описание, но не README с замерами. Неизвестно, что именно за «284B»: базовая модель, дистиллят, квантизация или смесь экспертов с урезанными слоями. Нет ни токенов в секунду, ни точного имени файла весов, ни потребления RAM под нагрузкой, ни проверки на бенчмарках. Числа выше — наша арифметика из размера модели, а не замер. Пока 402 балла на HN означают интерес, а не воспроизводимость.

Прогноз: в течение месяца станет ясно, появится ли в репозитории воспроизводимый замер — токены в секунду, точный файл весов и пик по RAM. Если цифры сойдутся, ждём волну форков под другие MoE-модели.

Дисклеймер: официально не подтверждено, независимых замеров нет — все характеристики взяты из описания проекта, мы их не воспроизводили.

Источник: GitHub / synchopate