FrontierHarness misst den Einfluss des Harness auf KI-Agenten

Was FrontierHarness genau misst

Interessant ist hier nicht eine weitere Tabelle mit Modellpunkten, sondern der Versuch, das Agenten-Harness selbst zu messen. In der Veröffentlichung Introducing FrontierHarness Eval nennt Runta den Kernaufbau: Ein Modell und eine identische Umgebung wurden durch neun produktive Coding-Harnesses in 12 Konfigurationen geführt. Daraus entstanden 360 Bewertungen für 30 Aufgaben.

Das Set umfasst 21 Terminal-Bench-Aufgaben und neun DeepSWE-Aufgaben. Der Fokus ist damit bewusst eng: Softwareentwicklung und Arbeit im Terminal. Das Ergebnis prüft ein deterministischer Verifier nach einem Pass/Fail-Schema, nicht ein Modell als Richter mit unvermeidlicher Variabilität. Dadurch wird der Vergleich leichter interpretierbar: Eine Aufgabe besteht die Prüfung oder sie besteht sie nicht.

Runta versuchte auch, die Umgebung zu vereinheitlichen. Jeder Lauf wurde aus einem Golden Checkpoint mit denselben vCPUs, demselben Arbeitsspeicher, Datenträger und Umgebungszustand wiederhergestellt. Cache-Lesevorgänge im ersten Zug wurden für alle Harnesses einheitlich neu berechnet, damit Kostenvergleiche nicht von unterschiedlichen Abrechnungsregeln abhängen.

Zum Zeitpunkt der Ankündigung lautete das Ergebnis: 209 erfolgreiche Läufe und 151 Fehlschläge, also eine Pass-Rate von insgesamt 58,1 Prozent. Claude Code und DSH Creator erzielten jeweils 63 Prozent, während die tokengewichtete Cache-Hit-Rate über das gesamte Feld 92,4 Prozent erreichte. Das zentrale Ergebnis ist nicht der Sieger, sondern dass das Modell hier absichtlich nicht mehr die einzige Variable ist.

Warum ein Modellscore allein nicht mehr reicht

Die praktische Schlussfolgerung ist einfach: Die Qualität eines Coding-Agenten lässt sich nicht fair allein aus dem Namen des Modells ableiten. Das Harness steuert Tools, Kontext, Terminal und die Abfolge von Aktionen und kann daher das Ergebnis verändern, obwohl Modell und Runtime unverändert bleiben.

Für Entwickler bietet das einen sinnvolleren Vergleichspunkt für Agenten-Stacks. Forschende erhalten ein reproduzierbares Schema, bei dem Infrastrukturrauschen zumindest teilweise durch identische Checkpoints und einen Verifier begrenzt wird. FrontierHarness ist allerdings enger gefasst als EleutherAIs lm-evaluation-harness: Es zielt auf Coding- und Terminal-Szenarien, nicht auf die breite Bewertung von Sprachmodellen.

Im September 2026 sehe ich FrontierHarness als ein starkes Engineering-Argument gegen zu einfache Leaderboards, jedoch nicht als endgültiges Ranking. Hier gibt es ein Modell, 30 Aufgaben und eine konkrete Ausführungsmethode; die 58,1 Prozent lassen sich deshalb nicht ohne neue Prüfung auf andere Umgebungen übertragen. Die spannendste Frage lautet jetzt nicht, welches Modell stärker ist, sondern welcher Anteil des Ergebnisses überhaupt dem Modell gehört.

Wir haben zuvor untersucht, wie sich die Zuverlässigkeit von LLM-as-a-Judge mit IRT-Metriken messen lässt. Dieser Ansatz ergänzt Frontier Harness Eval, wenn nicht nur die Modellleistung, sondern auch die Stabilität des Prüfmechanismus selbst bewertet werden soll.