Choice / Score beschleunigt Klassifikation, ist aber keine AGI

Was Choice / Score tatsächlich macht

Ich würde die AGI-Diskussion hier sofort beiseitelassen: Es geht nicht um allgemeine Intelligenz, sondern um eine sinnvolle Begrenzung des Antwortbereichs. Choice / Score erzeugt keinen Text in freier Form. Das Modell erhält vorgegebene Optionen und liefert für jede davon einen Score oder eine Wahrscheinlichkeit zurück.

Googles Leitfaden zur Textklassifikation beschreibt dasselbe Grundformat: Das Ergebnis ist eine Menge von Klassenscores, die nach der Normalisierung eine Wahrscheinlichkeitsverteilung bilden. Statt Tokens nacheinander zu erzeugen, kodiert das System die Eingabe und führt einen kleinen Schritt zur Bewertung der Labels aus. Der Geschwindigkeitsgewinn ist daher keine Magie, sondern eine direkte Folge der Architektur.

Die diskutierte Spanne liegt bei dem 20- bis 200-Fachen gegenüber gewöhnlichen Textgenerierungsmodellen. Ein solcher Unterschied ist möglich, weil ein Generator seinen Decoder wiederholt ausführt, um das nächste Token auszuwählen, während ein Klassifikator meist nur einen Durchlauf und die Berechnung von Scores für eine kurze Optionsliste benötigt. Je länger die freie Antwort wäre, desto deutlicher wird der Unterschied.

• Klassifikation und Intenterkennung passen gut zu einem geschlossenen Satz von Labels.
• Routing und Moderation erhalten geringere Latenzen ohne unnötige Textausgabe.
• Wahrscheinlichkeiten lassen sich für Schwellenwerte und die Behandlung unsicherer Fälle nutzen.
• Eine neue Antwort, die nicht unter den Optionen steht, kann das Modell nicht erzeugen.

Der Vergleich mit Google TabFM ist nur auf Prinzipienebene sinnvoll. TabFM arbeitet mit tabellarischen Daten, während Choice / Score Text verarbeitet, doch beide Ansätze ersetzen universelle Generierung durch strukturierte Vorhersage. Sie sind eher durch ihre Engineering-Logik verwandt als durch eine gemeinsame Architektur.

Wo die Einsparung real ist und wo Marketing beginnt

Für geschlossene Aufgaben kann dies tatsächlich ein besserer Ersatz für ein großes LLM sein, aber keine neue Klasse von Intelligenz. Ein kompaktes Modell lässt sich mit weichen Labels, Verteilungen oder Rankings trainieren, die von einem großen Sprachmodell stammen, und anschließend günstiger sowie schneller ausführen.

Ich würde zuerst nicht den attraktiven Beschleunigungsfaktor prüfen, sondern die Qualität bei seltenen Klassen, die Kalibrierung der Wahrscheinlichkeiten und das Verhalten bei Eingaben außerhalb der Trainingsverteilung. Ohne offenes Modell, Vergleichsmethodik und identische Bedingungen sollte die Spanne von 20 bis 200 nicht als universelles Ergebnis gelten.

Die wichtigste Einschränkung steckt bereits in der Idee selbst: Das System ist nur so gut wie die vorher definierten Optionen. Choice / Score entfernt teure Generierung dort, wo sie nie nötig war, doch laute Positionierung kann einen sorgfältigen Klassifikator in ein Versprechen verwandeln, das er technisch nicht erfüllt.

Wir haben bereits erläutert, wie sich die Zuverlässigkeit von LLM-as-a-Judge mit IRT-Metriken messen lässt. Dieses Bewertungsframework ergänzt Choice-Score-Modelle, indem es Modellvergleiche konsistenter und messbarer macht.