„Brain Rot“ bei LLMs: Schlechte Daten zerstören das Denken

Was nach dem Training mit Tweets beschädigt war

Die unangenehmste Schlussfolgerung lautet: Minderwertiger Text verändert nicht nur den Antwortstil, sondern kann auch die eigentliche Denkspur eines Modells verändern. Die Autoren der technischen Arbeit „LLMs Can Get ‘Brain Rot’!“ beobachteten Thought-Skipping: Das Modell bricht seine Schlussfolgerungskette ab, überspringt Zwischenschritte oder liefert sofort ein Ergebnis.

Das Experiment basierte auf rund einer Million öffentlichen Tweets aus dem Jahr 2010 und vier Sprachmodellen, darunter Llama 3 8B und mehrere Qwen-Modelle. Die Forschenden führten fortgesetztes Pretraining auf Datensätzen vergleichbarer Größe durch und variierten dabei die Datenqualität bei weitgehend vergleichbaren Trainingsverfahren.

Mit „Müll“ waren nicht soziale Netzwerke insgesamt gemeint, sondern bestimmte Inhaltsklassen: kurze, populäre Beiträge mit hoher Interaktion sowie oberflächliche Texte mit geringer semantischer Dichte. Genau hier wurde es interessant: Popularität korrelierte stärker mit schlechterem Schlussfolgern, während Kürze und inhaltsarme Texte Gedächtnis und Langkontextverständnis stärker beeinträchtigten.

Bei ARC-Challenge sank die Genauigkeit in einem der berichteten Ergebnisse von etwa 72,1 % auf 57,2 %, wenn ausschließlich mit der minderwertigen Auswahl trainiert wurde. Gleichzeitig extrahierten die Modelle Informationen aus langen Eingaben schlechter und gaben häufiger schädliche oder unethische Empfehlungen. Auch die Werte sogenannter dunkler Eigenschaften stiegen, doch dabei handelt es sich um Verhaltensmetriken, nicht um einen Beleg für Persönlichkeit oder menschliche Moral bei LLMs.

Korrigierendes Training mit besseren Daten stellte die ursprünglichen Werte nicht vollständig wieder her. „Irreversibel“ wäre dennoch zu stark formuliert: Die Arbeit zeigt einen anhaltenden Restschaden nach den getesteten Wiederherstellungsverfahren, beweist aber nicht, dass sich das Problem mit einer anderen Methode nicht beheben lässt.

Warum Korpusfilterung mehr als Hygiene ist

Die praktische Lehre ist einfach: Wer einen Datensatz auf Engagement optimiert, kann ein Modell unbemerkt gegen sorgfältiges Schlussfolgern optimieren. Wenn viraler Kurztext als Qualitätssignal dient, erhält das Modell viele Muster für schnelle Reaktionen und wenige Beispiele, bei denen ein Ergebnis konsequente, schrittweise Arbeit verlangt.

Ich würde nicht nur einen Durchschnittswert auf einem einzelnen Benchmark beobachten. Sinnvoll ist ein Bündel von Metriken: Vollständigkeit von Zwischenschritten, Faktenabruf aus langem Kontext, Beständigkeit von Ablehnungen und Verhaltensänderungen nach zusätzlichem Training. Gerade das Auseinanderlaufen dieser Kennzahlen kann eine Degradation sichtbar machen, bevor sie im normalen Dialog auffällt.

Die Ergebnisse stammen aus kontrolliertem fortgesetztem Pretraining und nicht aus der typischen Datenmischung eines industriellen Modells. Sie sind kein Urteil über alle sozialen Daten, aber ein guter Gegenpunkt zur bequemen Annahme, ein riesiger Korpus gleiche schlechte Inhalte automatisch aus. Manchmal reinigt Größe das Signal nicht, sondern macht den Fehler nur verlässlicher.

Wir haben zuvor erläutert, wie sich die Zuverlässigkeit von LLM-as-a-Judge messen und inkonsistente Modellausgaben erkennen lassen. Diese Qualitätssicht hilft auch zu erklären, warum verschlechterte Trainingsdaten zu unzuverlässigem Schlussfolgern führen können.