gpt-oss-120B liefert 3.000 Token/s auf Cerebras
gpt-oss-120BCerebrasинференс LLM
Woher die Zahl von 3.000 Token pro Sekunde stammt
Zunächst sollte man Modell und Maschine trennen: Die rund 3.000 Token/s werden für gpt-oss-120B ausdrücklich auf der Infrastruktur von Cerebras angegeben. Sie sind das Ergebnis eines konkreten Deployments und keine Geschwindigkeit, die das Modell automatisch auf jedem Server erreicht. Zum Zeitpunkt der Ankündigung führte Cerebras diesen Wert in seiner Inferenzdokumentation auf, einschließlich Streaming mit dem vollständigen 128k-Kontext.
OpenAI beschreibt gpt-oss-120B in der Veröffentlichung zum Start als MoE-Modell mit 120 Milliarden Parametern. Es besitzt 36 Schichten und 128 Experten je Schicht, doch für ein einzelnes Token werden nur vier Experten aktiviert. Diese Sparsity senkt den Rechenaufwand gegenüber einem dichten Modell mit vergleichbarer Gesamtgröße.
Der zweite Teil der Geschichte ist die Hardware. Cerebras erklärt die Beschleunigung mit seiner Wafer-Scale-Architektur, die typische Grenzen der GPU-Speicherbandbreite und Kommunikations-Overhead zwischen Beschleunigern vermeidet. Genau das macht die Zahl interessant: Es geht nicht nur um einen optimierten Checkpoint, sondern um ein Modell zusammen mit einem spezialisierten Inferenz-Stack.
Zum Vergleich: In angeführten unabhängigen Ergebnissen lag die Spitzengeschwindigkeit von gpt-oss-120B bei etwa 511 Token/s auf einem H100 und 849 Token/s auf einem H200. Der Vergleich beweist keine Überlegenheit in jedem Modus, zeigt aber deutlich die Abhängigkeit vom Hardware-Setup. Ich würde zusätzlich die Zeit bis zum ersten Token, die Eingabelänge, parallele Anfragen und den nachhaltigen statt nur maximalen Durchsatz prüfen.
Warum Agenten den Unterschied zuerst spüren werden
Die wichtigste Veränderung ist einfach: Die Generierung ist nicht mehr der langsamste Teil des Agentenzyklus. Wenn das Modell eine Überlegung oder einen Befehl schnell erzeugt, kann der Agent früher zur Suche, Codeausführung oder zum nächsten Tool-Aufruf übergehen. Besonders sichtbar ist der Effekt in langen Ketten, in denen sich eine kleine Verzögerung oft wiederholt.
Dadurch werden interaktive Coding-Assistenten, schnelle Dokumentanalysen und mehrstufige Rechercheabläufe realistischer. Auch langer Kontext wird praktischer: 128k zu unterstützen reicht nicht, wenn Nutzende nach einer großen Eingabe weiterhin auf die Generierung warten müssen.
Doch 3.000 Token/s beantworten weder Fragen zur Qualität des Schlussfolgerns noch zu Kosten pro Anfrage oder zum Verhalten unter Last. Steigen die Zeit bis zum ersten Token oder die Konkurrenz zwischen Sitzungen, verliert eine eindrucksvolle Spitzenzahl schnell ihren Zauber. Der eigentliche Meilenstein ist kein Geschwindigkeitsrekord, sondern die Fähigkeit, dieses Tempo in einem realen Agenten-Workflow zu halten.