DeepSeek 284B запустили на CPU с 64 ГБ ОЗУ

Как 284B параметров поместились в обычную память

Я вижу главный результат так: llama-modchip заявляет запуск DeepSeek-V4-Flash с 284,33B параметров на 16-ядерном AMD Ryzen 9 9955HX, 64 ГБ DDR5 и вообще без GPU. В репозитории проекта и таблице бенчмарков указан размер модели 56,56 GiB, а пиковое потребление памяти составляет примерно 57,6–58,9 GiB при контексте 256K.

Фокус здесь не в том, что плотную модель на 284B внезапно научились дешево считать на CPU. DeepSeek-V4-Flash использует Mixture-of-Experts: всего параметров много, но для каждого токена активны около 13,17B. Полный набор экспертов все равно приходится хранить, зато вычислительная нагрузка на один токен становится заметно меньше.

Второй компонент трюка — агрессивное квантование и специализированный формат GGUF. Документация llama-modchip также связывает экономию 20,31 GiB с реализацией SwiGLU-H2. Вместе с memory mapping и жестким контролем выделения памяти это оставляет место для состояния рантайма и KV-кэша, хотя запас на машине с номинальными 64 ГБ остается очень тесным.

Опубликованные результаты показывают 43,16–44,36 токена в секунду при обработке промпта и 9,06–10,74 при обычной генерации. С конфигурациями Stockfish-PVS для спекулятивного декодирования проект сообщает 11,50–14,69 токена в секунду и около 94,5% принятия черновых токенов. Это цифры самого проекта на момент публикации измерений, а не независимое воспроизведение.

GPU не отменяется, но расклад уже другой

Это не замена ускорителям для обучения или массового сервинга, зато вполне реальный путь к локальному инференсу крупной MoE-модели. Выигрывают сценарии, где важнее автономность, объем доступных весов и отсутствие отдельной видеопамяти, а не максимальная пропускная способность.

Первым делом я бы проверял качество после квантования, стабильность на длинном контексте и чувствительность скорости к памяти. Для такого инференса узким местом часто становится не арифметика CPU, а пропускная способность ОЗУ, размещение потоков и движение десятков гигабайт весов. Поэтому перенос результатов на другой процессор или более медленную конфигурацию памяти совсем не гарантирован.

Конкретную ветку Hacker News по доступным материалам надежно подтвердить нельзя, поэтому выводы лучше отделять от обсуждений сообщества. Сам эксперимент при этом интересный: число параметров все хуже описывает реальную стоимость инференса, если архитектура разреженная, а рантайм оптимизирован вместе с форматом весов. Пока главный вопрос не в том, запускается ли модель, а насколько хорошо такой сжатый вариант сохраняет ее исходное качество.

Мы ранее разбирали Rust LocalGPT — локального ассистента в одном бинарнике с памятью и HTTP API. Этот пример дополняет запуск DeepSeek 284B на обычном железе и показывает, какие варианты локальной LLM-инфраструктуры доступны без зависимости от облака.