Technischer Kontext
Ich bin hier nicht am Schlagwort hängengeblieben, sondern an der Mechanik. Wenn sich die These bestätigt, erhalten wir nicht nur einen weiteren „Benchmark-Trick“, sondern einen gangbaren Weg für die KI-Implementierung, wo ein Unternehmen keinen gelabelten Datensatz hat, aber eine wiederholbare Aufgabe und ein Modell, das bereits „etwas versteht“.
Im Kern geht es darum, dass das Modell nützliche Algorithmen intern speichert, aber instabil darauf zugreift. In manchen Durchläufen trifft es die richtige Trajektorie der verborgenen Zustände, in anderen verfehlt es sie. Die Idee der Selbstdestillation auf den gefundenen Mannigfaltigkeiten besteht darin, es zurück in den internen Bereich zu stoßen, in dem die richtige Antwort bereits existiert.
Mir gefiel hier nicht der Hype, sondern die Geschwindigkeit. Im Beispiel mit Qwen zur modularen Arithmetik erreicht das Modell bei einfachen Operationen nach mod 11 etwa 50 %, und nach einem sehr kurzen Fine-Tuning steigt dieser Wert auf über 80 %. Wenn das reproduzierbar ist, sind die Kosten für ein Experiment im Vergleich zum üblichen überwachten Fine-Tuning lächerlich gering.
Technisch ähnelt es einer Mischung aus Selbstdestillation, Pseudo-Labeling und der Ausrichtung verborgener Repräsentationen. Man braucht nicht unbedingt externe Labels: Man kann die besten eigenen Antworten des Modells nehmen, sie mit einem Verifikator filtern und dann nicht nur die Logits, sondern auch die interne Geometrie destillieren. Bei eng gefassten symbolischen Aufgaben klingt das sehr plausibel.
Aber ich würde das hier nicht als Magie verkaufen. Dieser Ansatz schafft kein Wissen aus dem Nichts. Er extrahiert vielmehr einen bereits vorhandenen Algorithmus und macht den Zugriff darauf stabiler. Wenn das Basismodell die Aufgabe grundsätzlich nicht beherrscht, wird die Selbstdestillation nur den Fehler polieren.
Was ändert das für Unternehmen und Automatisierung?
Die erste Konsequenz ist einfach: Die Anpassung an Nischenanwendungsfälle wird billiger. Wenn Sie Berechnungen, Klassifizierungen, Normalisierungen, tabellarische Prüfungen oder interne Logik haben, bei denen die Antworten automatisch verifiziert werden können, können Sie KI-Automatisierung ohne langwierige manuelle Kennzeichnung aufbauen.
Zweitens ändert sich die KI-Architektur. Anstatt „zuerst erstellen wir einen Datensatz mit Tausenden von Beispielen“ würde ich auf einen Kreislauf aus Generierung, Überprüfung, Auswahl der richtigen Spuren und kurzem Fine-Tuning setzen. Das ist schneller und bei einigen Aufgaben auch qualitativ sauberer.
Teams, die eine formalisierbare Überprüfung der Ergebnisse haben, werden gewinnen. Diejenigen, die versuchen, denselben Trick auf vage Aufgaben ohne Verifikator und Qualitätskontrolle anzuwenden, werden verlieren.
Genau solche Dinge teste ich gerne selbst, nicht auf Folien. Wenn es in Ihren Prozessen einen Engpass gibt, bei dem Mitarbeiter Stunden mit repetitiven Prüfungen verbringen, können wir im Nahornyi AI Lab eine KI-Lösungsentwicklung für Ihren Workflow aufbauen: herausfinden, wo das Modell bereits „Bescheid weiß“, dies durch Fine-Tuning festigen und es in eine funktionierende Automatisierung verwandeln, nicht in ein weiteres schönes Demo-Video.