Kimi K3 en MacBook M1: lo que realmente importa

Consiguieron ejecutar Kimi K3 localmente, pero no es una historia de comodidad, sino de límites del hardware

El hecho más importante aquí es simple: en una publicación de Reddit, el usuario escribe que cargó todos los 1.45 TB de expertos en un disco local y mejoró la inferencia en un M1 Mac a 16 segundos por token, frente a un minuto antes. El prefill, según dice, bajó de 2429 segundos a 40. Esto ya no es "totalmente inutilizable", sino una clara demostración de dónde exactamente el modelo choca contra las paredes del sistema.

La fuente no es un benchmark oficial, sino una actualización en un post de la comunidad LocalLLaMA. Y es crucial tenerlo en mente: no tomaría estos números como la norma para Kimi K3, pero como señal de ingeniería son excelentes. Si después de perfilar y ajustar la alimentación de datos la aceleración es tan grande, significa que el cuello de botella no estaba solo en la multiplicación de matrices.

Más allá de eso, el panorama coincide con lo que se suele escribir sobre Kimi K3 en los análisis públicos: es un MoE de 2.8 billones de parámetros, con 16 de 896 expertos activos por token. Sobre el papel, esto suena como una forma de hacer que un gigante sea más "barato" en inferencia. En la práctica, el peso del modelo no desaparece, y la clase de memoria de 1.4 TB para cargar los pesos sigue siendo la principal restricción.

Y aquí, Apple Silicon es interesante no por magia, sino por su perfil de cuellos de botella. Para estos modelos MoE, el problema a menudo no es que el chip sea demasiado débil, sino que la entrega de los pesos correctos y el despacho de expertos empieza a dictar todo lo demás.

Qué cambia esto para los LLM locales y dónde termina el hype

Mi conclusión breve: esta noticia importa como prueba del dolor, no como prueba de practicidad. Sí, se puede de alguna manera arrancar un modelo MoE supergrande localmente incluso en hardware clase M1, pero eso no convierte esa ejecución en un escenario de trabajo realista.

La primera lección es obvia: optimizar el pipeline, el almacenamiento y el prefill puede cambiar órdenes de magnitud. Si el prefill baja de 2429 a 40 segundos, entonces la ingeniería alrededor de la inferencia es a veces más importante que otra discusión sobre "qué backend es más rápido".

La segunda es menos obvia: para Apple Silicon, la conversación sobre MoE grandes gira cada vez más en torno al ancho de banda de memoria, el despacho de expertos y las estrategias de fragmentación, no en los FLOPS brutos. Así que incluso los buenos resultados en stacks tipo MLX no eliminan el problema básico: el modelo es simplemente demasiado grande para un modo local cómodo.

Y el tercer punto, el más aleccionador: el autoalojamiento de estos modelos sigue siendo una historia de experimentos muy especiales o a escala de clúster. Pero el mero hecho de que ya estén exprimiendo esto de minutos a decenas de segundos muestra una dirección bastante clara: el futuro de la inferencia local no lo decidirán solo los nuevos chips, sino la capacidad de reducir agresivamente el movimiento de pesos. Ahí es donde está ocurriendo la verdadera magia ahora mismo, sin romanticismos.

Ya hemos hablado de Rust LocalGPT, un asistente local en un solo archivo binario que no necesita nube y se ejecuta directamente en la máquina del usuario. Este es un paso natural en la misma dirección que el experimento con Kimi K3 en MacBook.