Qwen local: qué significan 500 tps en un M1 Ultra

Qué muestran realmente las mediciones de usuarios

Yo interpretaría estas cifras como el resultado de una pila concreta, no como la velocidad oficial del M1 Ultra. En la conversación de usuarios se reportan unos 500 tps durante el prefill y hasta 100 tps al generar código en un M1 Ultra con 64 núcleos GPU, MTPLX y Qwen3.8-Flash-Next. Para la inferencia local es una referencia sólida, pero solo para esa configuración exacta.

La comparación con Nvidia sigue incompleta. Otro participante ejecuta Qwen3.6 27B en una A6000, pero no aporta la velocidad de esa combinación. No es una prueba de Apple contra Nvidia, sino dos observaciones independientes. Sin el mismo modelo, cuantización, longitud de prompt, batch y modo de paralelismo, una cifra llamativa puede resultar engañosa.

La documentación de mlx-serve incluye Qwen3.6-27B y Qwen3.8-27B entre los modelos compatibles, también paquetes MLX con cabezales para decodificación especulativa. Las notas de versión de oMLX para M3 Ultra indican unos 91 tps sin MTP y 134 tps con MTP; tras optimizar la descarga de expertos, el prefill de 32K alcanzó cerca de 636 tps. Esto hace creíble el rango reportado, pero no permite trasladar directamente los resultados de chips Apple más nuevos al M1 Ultra.

La pila importa tanto como el hardware. mlx-serve aporta una capa de servidor centrada en MLX, oMLX añade gestión de modelos y aceleraciones específicas, mientras que Strata se orienta principalmente a sistemas CUDA, incluida la A6000. A fecha del 8 de noviembre de 2026, estas cifras deben entenderse como resultados de configuración, no como especificaciones universales de los dispositivos.

Cuándo la inferencia local cambia realmente el panorama

La ventaja práctica es real: los datos privados se pueden procesar localmente sin pagar a un proveedor externo por cada token. Esto encaja especialmente bien con cargas secuenciales para uno o pocos usuarios.

• Transcripción y analítica: la grabación de una llamada, su transcripción, la extracción de datos y el resumen estructurado pueden permanecer en el entorno local.
• Documentos médicos: el modelo puede normalizar terminología y preparar borradores, pero el resultado sigue requiriendo revisión clínica.
• Agentes y código: una alta velocidad en un único flujo hace más ágil al asistente local, aunque no revela el rendimiento con decenas de solicitudes simultáneas.

En Apple Silicon, comprobaría primero el uso de memoria y la estabilidad del prefill largo. En la A6000 importan más el perfil de batching, las solicitudes concurrentes y el coste de calidad de la cuantización. La pregunta clave no es si se alcanzan 100 tps, sino cuánto de esa velocidad se conserva con carga real.

Antes analizamos Rust LocalGPT, un asistente local en un único binario con memoria y una API HTTP. Este caso aporta contexto práctico a los benchmarks de Qwen y Hermes para la inferencia local.