DeepSeek 284B запустили на CPU з 64 ГБ ОЗП

Як 284B параметрів умістилися у звичайній пам’яті

Головний результат можна сформулювати так: llama-modchip заявляє про запуск DeepSeek-V4-Flash із 284,33B параметрів на 16-ядерному AMD Ryzen 9 9955HX, 64 ГБ DDR5 і взагалі без GPU. У репозиторії проєкту та таблиці бенчмарків вказано розмір моделі 56,56 GiB, а пікове споживання пам’яті становить приблизно 57,6–58,9 GiB за контексту 256K.

Суть не в тому, що щільну модель на 284B раптом навчилися дешево обчислювати на CPU. DeepSeek-V4-Flash використовує Mixture-of-Experts: загалом параметрів багато, але для кожного токена активні близько 13,17B. Повний набір експертів однаково потрібно тримати в пам’яті, зате обчислювальне навантаження на один токен значно менше.

Друга складова цього підходу — агресивне квантування та спеціалізований формат GGUF. Документація llama-modchip також пов’язує економію 20,31 GiB із реалізацією SwiGLU-H2. Разом із memory mapping і жорстким контролем виділення пам’яті це залишає місце для стану рантайму та KV-кешу, хоча запас на машині з номінальними 64 ГБ залишається вкрай малим.

Опубліковані результати показують 43,16–44,36 токена за секунду під час обробки промпту та 9,06–10,74 під час звичайної генерації. З конфігураціями Stockfish-PVS для спекулятивного декодування проєкт повідомляє про 11,50–14,69 токена за секунду та приблизно 94,5% прийняття чернеткових токенів. Це показники самого проєкту на час публікації, а не незалежне відтворення.

GPU не скасовується, але розклад уже інший

Це не заміна прискорювачам для навчання чи масового сервінгу, проте цілком реальний шлях до локального інференсу великої MoE-моделі. Перевагу мають сценарії, де важливіші автономність, обсяг доступних ваг і відсутність потреби в окремій відеопам’яті, а не максимальна пропускна здатність.

Насамперед варто перевіряти якість після квантування, стабільність на довгому контексті та чутливість швидкості до пам’яті. Для такого інференсу вузьким місцем часто є не арифметика CPU, а пропускна здатність ОЗП, розміщення потоків і переміщення десятків гігабайтів ваг. Тому перенесення результатів на інший процесор або повільнішу конфігурацію пам’яті зовсім не гарантоване.

Конкретну гілку Hacker News за доступними матеріалами надійно підтвердити не можна, тому висновки слід відокремлювати від обговорень спільноти. Сам експеримент цікавий: кількість параметрів дедалі гірше описує реальну вартість інференсу, якщо архітектура розріджена, а рантайм оптимізовано разом із форматом ваг. Головне питання тепер не в тому, чи запускається модель, а наскільки добре стиснений варіант зберігає її початкову якість.

Раніше ми розглядали Rust LocalGPT — локального асистента в одному бінарному файлі з пам’яттю та HTTP API. Цей приклад доповнює запуск DeepSeek 284B на звичайному обладнанні й показує варіанти локальної LLM-інфраструктури без залежності від хмари.