Technischer Kontext
Ich habe mich in die Analyse von Redwood und den Aufsatz selbst vertieft, weil das Thema kein Spielzeug ist: Wenn Modelle in nutzlosen Token rechnen können, lässt sich KI-Automatisierung nicht mehr nur anhand der sichtbaren Antwort beurteilen. Und ja, das ist keine schöne Metapher, sondern beobachtbares Verhalten in neueren Modellen.
Die Kernidee ist einfach. An den Prompt wird ein sinnloser Schwanz angehängt: Punkte, Symbole, Zähler, leere Token. Ältere Modelle ignorierten dies meist, aber frische Frontier-Modelle nutzen diese Bereiche, wie Redwood und das Paper „Reading Between the Dots“ zeigen, als Arbeitsspeicher für versteckte Zwischenberechnungen.
Mich hat weniger das Wort Filler selbst gefesselt, sondern der Mechanismus. Das Modell muss keinen Chain-of-Thought nach außen schreiben, kann aber dennoch nützliche Repräsentationen durch die Hidden States an diesen Positionen schieben. Die Autoren zeigen, dass diese Berechnung teilweise aus den internen Zuständen dekodierbar ist: Frühe Schichten extrahieren Fakten, spätere kombinieren sie.
Die Zahlen sind ebenfalls nicht leer. Opus 4.5s Mathe-Genauigkeit ohne CoT stieg mit Filler-Token von ca. 45 % auf 51 %; DeepSeek V3 legte bei bestimmten Aufgaben noch stärker zu. Wichtige Einschränkung: Es geht eher um parallele Rechentiefe als um langes schrittweises Folgern.
Filler-Token verwandeln den Transformer also nicht in ein unendliches Denkband. Sie geben dem Modell vielmehr zusätzlichen Raum, um Teilaufgaben zu verteilen, Aktivierungen umzuverteilen und dann die Antwort zusammenzusetzen. Für die Interpretierbarkeit ist das zugleich elegant und beunruhigend.
Auswirkungen auf Business und Automatisierung
Für die angewandte KI-Implementierung fällt mein Fazit hart aus: Sichtbarer Reasoning-Text ist nicht gleich echtem Reasoning. Wer Prüfungen, Leitplanken oder Audits rund um „zeige deinen Gedankengang“ baut, hat jetzt eine noch schwächere Stütze.
Der zweite Effekt ist architektonisch. Prompt Engineering und KI-Integration hängen nicht mehr nur von perfekten Anweisungen ab, sondern auch davon, wie der Kontext dem Modell Raum für interne Berechnungen gibt. Das kann die Qualität bei schwierigen Aufgaben steigern, zugleich aber Vorhersagbarkeit und Inferenzkosten sprengen.
Wer gewinnt? Teams, die Modelle auf Verhaltens- und Trace-Ebene testen, nicht diejenigen, die einem hübschen CoT vertrauen. Wer verliert? Diejenigen, die „Transparenz“ nur auf Basis des Ausgabetextes verkaufen. Bei Nahornyi AI Lab sezieren wir genau diese Fragen in der Praxis: Wo verborgene Berechnung hilft und wo sie Risiken in KI-Lösungen für Unternehmen schafft.
Wenn KI-Automatisierung bereits in kritischen Prozessen läuft, würde ich nicht auf die nächste Überraschung des Modells warten. Gehen Sie in Ruhe Ihre Pipeline durch, prüfen Sie, wo die Kontrolle illusorisch ist, und lassen Sie uns bei Nahornyi AI Lab die KI-Lösungsentwicklung so aufbauen, dass das System Zeit spart, statt im ungünstigsten Moment versteckte Risiken zu liefern.