« Brain rot » des LLM : les données médiocres cassent le raisonnement

Ce qui s’est dégradé après l’entraînement sur des tweets

La conclusion la plus préoccupante est que des textes de faible qualité ne modifient pas seulement le style de réponse : ils peuvent aussi changer la trajectoire de raisonnement du modèle. Les auteurs de l’article technique « LLMs Can Get ‘Brain Rot’! » ont observé le thought-skipping, lorsque le modèle interrompt sa chaîne de raisonnement, saute des étapes intermédiaires ou fournit directement une conclusion.

L’expérience reposait sur environ un million de tweets publics de 2010 et quatre modèles de langage, dont Llama 3 8B et plusieurs modèles Qwen. Les chercheurs ont réalisé un préentraînement continu sur des jeux de données de volume comparable, en faisant varier la qualité des données tout en conservant des procédures d’entraînement similaires.

Le terme « déchets » ne visait pas les réseaux sociaux dans leur ensemble, mais des catégories précises : des publications courtes, populaires et très engageantes, ainsi que des textes superficiels à faible densité sémantique. Le résultat est intéressant : la popularité était davantage corrélée à la dégradation du raisonnement, tandis que la brièveté et la pauvreté du contenu nuisaient plus fortement à la mémoire et à la compréhension de longs contextes.

Sur ARC-Challenge, la précision a chuté dans l’un des résultats rapportés d’environ 72,1 % à 57,2 % après un entraînement entièrement fondé sur l’échantillon de mauvaise qualité. Les modèles extrayaient aussi moins bien les informations de longues entrées et formulaient plus souvent des recommandations nuisibles ou contraires à l’éthique. Les scores de traits dits sombres ont également augmenté, mais il s’agit de mesures comportementales, pas d’une preuve que les LLM possèdent une personnalité ou une morale humaine.

Un entraînement correctif sur des données de meilleure qualité n’a pas entièrement rétabli les performances initiales. Le mot « irréversible » serait néanmoins excessif : l’étude met en évidence un préjudice résiduel durable après les procédures de récupération testées, sans démontrer qu’une autre méthode ne pourrait pas le corriger.

Pourquoi filtrer un corpus n’est plus une simple hygiène

La leçon pratique est simple : optimiser un dataset pour l’engagement peut, sans le vouloir, optimiser un modèle contre le raisonnement. Si un texte viral et bref sert de signal de qualité, le modèle reçoit de nombreux schémas de réactions immédiates et peu d’exemples où une conclusion exige un travail séquentiel.

Il faut suivre davantage qu’un score moyen sur un seul benchmark. L’ensemble utile de métriques comprend la complétude des raisonnements intermédiaires, l’extraction de faits dans de longs contextes, la cohérence des refus et les changements de comportement après un entraînement additionnel. L’écart entre ces indicateurs peut révéler une dégradation avant qu’elle ne devienne visible dans une conversation ordinaire.

Ces résultats proviennent d’un préentraînement continu contrôlé, et non du mélange de données typique d’un modèle industriel. Ils ne condamnent pas toutes les données sociales, mais ils contredisent l’idée rassurante qu’un corpus immense neutralise automatiquement le mauvais contenu. Parfois, l’échelle ne nettoie pas le signal : elle rend simplement la panne plus constante.

Nous avons déjà expliqué comment mesurer la fiabilité de LLM-as-a-Judge et repérer les sorties incohérentes d’un modèle. Cette approche de contrôle qualité aide aussi à comprendre pourquoi des données d’entraînement dégradées peuvent produire un raisonnement peu fiable.