ox-alpha erreicht 63 % auf DeepSWE, doch es gibt einen Haken

Was ox-alpha tatsächlich gezeigt hat

Meine erste Reaktion ist einfach: Die behaupteten 63 % auf einem DeepSWE-Subset bei durchschnittlich 47K Output-Tokens wirken ernstzunehmend. Ein solches Ergebnis würde ox-alpha tatsächlich neben starke geschlossene Modelle für agentische Softwareentwicklung stellen. Die Zahl stammt jedoch aus einer Diskussion der Community, nicht aus einer offiziellen Modellkarte oder einem Paper des Entwicklers.

Mit Stand vom 22. August 2026 ist die Herkunft von ox-alpha öffentlich nicht bestätigt. OpenRouter führt es auf seiner Modellvergleichsseite als kostenloses Stealth-Modell mit einem Kontextfenster von 1.048.576 Tokens. Das sind konkrete Produktparameter, sie sagen jedoch weder etwas über den Eigentümer der Gewichte noch über die Reproduzierbarkeit des DeepSWE-Ergebnisses aus.

Für den Vergleich gibt es einen belastbareren Referenzpunkt: xAI nennt in der Dokumentation und den Release Notes zu Grok 4.6 einen Wert von 65,9 % auf DeepSWE v1.1. Dort werden außerdem ein Kontextfenster von 500.000 Tokens und kein Limit für die Textausgabe angegeben. Der Abstand zu den vermuteten 63 % von ox-alpha wäre also gering, sofern die Messungen überhaupt vergleichbar sind.

Hier beginnt der technische Teil. Ein Ergebnis auf einem Subset lässt sich nicht automatisch mit der vollständigen Version von DeepSWE v1.1 vergleichen: Benötigt werden die Aufgabenmischung, die Agentenkonfiguration, die Werkzeuge, die Zahl der Versuche und das Erfolgskriterium. Auch durchschnittlich 47K Output-Tokens sind mehrdeutig. Eine lange Trajektorie kann hartnäckiges Lösen einer schwierigen Aufgabe bedeuten, aber ebenso kostspieliges Ausprobieren und schwache Planung verbergen.

Warum das Signal dennoch wichtig ist

Auch ohne offizielle Verifizierung zeigt ox-alpha eine Richtung auf: Öffentlich verfügbare Stealth-Modelle werden bereits auf dem Niveau starker geschlossener Coding-Modelle diskutiert. Für Entwickler von Agenten verändert das den ersten Auswahlfilter. Nicht nur der Name des Labors zählt, sondern auch die Stabilität langer Werkzeugtrajektorien.

Gewinnen dürften Szenarien, in denen großer Kontext und lange Ausgabe helfen, das Repository, den Verlauf der Aktionen und Werkzeugergebnisse im Blick zu behalten. Einfache Ranglisten mit nur einer Endzahl verlieren dagegen an Wert: Ohne Angaben zu Kosten, Latenz und fehlgeschlagenen Schritten sind sie für Architekturentscheidungen fast nutzlos.

Vorerst würde ich 63 % als starkes, aber unbestätigtes Signal bezeichnen, nicht als neue Pareto-Grenze. Das spannendste Rätsel ist nicht einmal der scheinbare Abstand zu Grok 4.6, sondern wer ox-alpha gebaut hat und zu welchem Rechenpreis diese lange Agententrajektorie erreicht wurde.

Zuvor haben wir Pony Alpha als neu verfügbares Modell für risikofreie Pilotprojekte und Architekturtests vorgestellt. Der Kontext seiner praktischen Evaluierung ergänzt die Benchmark-Ergebnisse von Ox-alpha und die Kompromisse bei der Leistung offener Modelle.