DeepSeek 284B funciona en CPU con 64 GB de RAM
llama-modchipDeepSeek-V4-FlashCPU-инференс
Cómo caben 284B de parámetros en memoria convencional
El resultado principal es el siguiente: llama-modchip afirma ejecutar DeepSeek-V4-Flash, con 284,33B parámetros, en un AMD Ryzen 9 9955HX de 16 núcleos, 64 GB de DDR5 y sin GPU. El repositorio del proyecto y su tabla de benchmarks indican un tamaño de modelo de 56,56 GiB y un consumo máximo de memoria de aproximadamente 57,6–58,9 GiB con un contexto de 256K.
La clave no es que de pronto se haya aprendido a calcular barato en CPU un modelo denso de 284B. DeepSeek-V4-Flash utiliza Mixture-of-Experts: tiene muchos parámetros en total, pero solo se activan unos 13,17B para cada token. El conjunto completo de expertos debe seguir almacenado, aunque la carga de cálculo por token disminuye de forma notable.
La segunda parte del truco es la cuantización agresiva y un formato GGUF especializado. La documentación de llama-modchip también atribuye un ahorro de 20,31 GiB a su implementación de SwiGLU-H2. Junto con el mapeo de memoria y un control estricto de las asignaciones, esto deja espacio para el estado del runtime y la caché KV, aunque el margen en una máquina nominal de 64 GB sigue siendo muy reducido.
Los resultados publicados muestran 43,16–44,36 tokens por segundo al procesar el prompt y 9,06–10,74 durante la generación normal. Con configuraciones Stockfish-PVS para decodificación especulativa, el proyecto informa de 11,50–14,69 tokens por segundo y cerca de un 94,5% de aceptación de tokens preliminares. Son cifras del propio proyecto en el momento de publicar las mediciones, no una reproducción independiente.
La GPU no desaparece, pero el panorama cambia
No sustituye a los aceleradores para entrenamiento o serving masivo, pero sí ofrece una vía realista para la inferencia local de un modelo MoE grande. Resulta útil cuando importan más la autonomía, el acceso a un conjunto amplio de pesos y no necesitar VRAM dedicada que el máximo rendimiento.
Lo primero que convendría comprobar es la calidad tras la cuantización, la estabilidad con contextos largos y la sensibilidad de la velocidad a la memoria. En esta clase de inferencia, el cuello de botella suele ser el ancho de banda de la RAM, la colocación de hilos y el movimiento de decenas de gigabytes de pesos, no la aritmética de la CPU. Por eso los resultados no se trasladan automáticamente a otro procesador o a memoria más lenta.
No es posible confirmar con fiabilidad un hilo concreto de Hacker News a partir de los materiales disponibles, por lo que conviene separar las conclusiones de las conversaciones de la comunidad. El experimento sigue siendo interesante: el número de parámetros describe cada vez peor el coste real de inferencia cuando la arquitectura es dispersa y el runtime se optimiza junto al formato de pesos. La pregunta principal ya no es si el modelo arranca, sino cuánto conserva de su calidad original.