Lokales Qwen: Was 500 tps auf einem M1 Ultra bedeuten

Was die Nutzermessungen tatsächlich zeigen

Ich würde diese Werte als Ergebnis eines konkreten Stacks lesen, nicht als offizielle Geschwindigkeit des M1 Ultra. In der Nutzerdiskussion werden rund 500 tps beim Prefill und bis zu 100 tps bei der Codegenerierung auf einem M1 Ultra mit 64 GPU-Kernen, MTPLX und Qwen3.8-Flash-Next genannt. Für lokale Inferenz ist das ein starker Anhaltspunkt, aber nur für genau diese Konfiguration.

Der Vergleich mit Nvidia ist weiterhin unvollständig. Ein anderer Teilnehmer betreibt Qwen3.6 27B auf einer A6000, nennt aber keinen Durchsatz für diese Kombination. Das ist kein Apple-gegen-Nvidia-Test, sondern sind zwei getrennte Beobachtungen. Ohne identisches Modell, Quantisierung, Promptlänge, Batchgröße und Parallelisierungsmodus kann eine attraktive Zahl leicht in die Irre führen.

Die Dokumentation von mlx-serve führt Qwen3.6-27B und Qwen3.8-27B unter den unterstützten Modellen auf, darunter auch MLX-Pakete mit Köpfen für spekulatives Decoding. Die oMLX-Release-Notes für den M3 Ultra nennen etwa 91 tps ohne MTP und 134 tps mit MTP; nach einer Optimierung beim Offloading von Experten erreichte der 32K-Prefill rund 636 tps. Das macht den gemeldeten Bereich plausibel, überträgt Ergebnisse neuerer Apple-Chips aber nicht direkt auf den M1 Ultra.

Der Stack ist mindestens ebenso wichtig wie die Hardware. mlx-serve liefert eine auf MLX ausgerichtete Serverschicht, oMLX ergänzt Modellverwaltung und spezialisierte Beschleunigungen, während Strata vor allem auf CUDA-Systeme einschließlich der A6000 zielt. Stand 8. November 2026 sollten diese Werte daher als konfigurationsspezifische Ergebnisse gelten, nicht als universelle Gerätemerkmale.

Wo lokale Inferenz die Lage wirklich verändert

Der praktische Vorteil ist real: Private Daten lassen sich lokal verarbeiten, ohne für jedes Token einen externen Anbieter zu bezahlen. Besonders gut passt das zu sequenziellen Aufgaben für einen oder wenige Nutzer.

• Transkription und Analyse: Gesprächsaufzeichnung, Transkript, Faktenextraktion und strukturierte Zusammenfassung können innerhalb der lokalen Umgebung bleiben.
• Medizinische Dokumente: Das Modell kann Terminologie vereinheitlichen und Entwürfe vorbereiten, das Ergebnis braucht jedoch weiterhin eine klinische Prüfung.
• Agenten und Code: Hohe Geschwindigkeit in einem einzelnen Stream macht einen lokalen Assistenten reaktionsschnell, sagt aber nichts über die Leistung bei Dutzenden parallelen Anfragen aus.

Bei Apple Silicon würde ich zuerst Speicherverbrauch und Stabilität bei langem Prefill prüfen. Bei der A6000 sind Batch-Verhalten, parallele Anfragen und der Qualitätsverlust durch Quantisierung wichtiger. Die entscheidende offene Frage lautet nicht, ob 100 tps erreichbar sind, sondern wie viel davon unter realer Last übrig bleibt.

Wir haben zuvor Rust LocalGPT vorgestellt, einen lokalen Assistenten in einer einzelnen Binärdatei mit Speicher und HTTP-API. Dieser Fall ergänzt Qwen- und Hermes-Benchmarks um den praktischen Kontext lokaler Inferenz.