“Brain rot” en LLM: los datos basura rompen el razonamiento

Qué se rompió tras entrenar con tuits

La conclusión más incómoda es que el texto de baja calidad no solo cambia el estilo de respuesta: también puede alterar la trayectoria de razonamiento del modelo. Los autores del artículo técnico “LLMs Can Get ‘Brain Rot’!” observaron thought-skipping, cuando el modelo interrumpe su cadena de razonamiento, omite pasos intermedios o entrega directamente una conclusión.

El experimento utilizó cerca de un millón de tuits públicos de 2010 y cuatro modelos de lenguaje, entre ellos Llama 3 8B y varios modelos Qwen. Los investigadores realizaron preentrenamiento continuo con conjuntos de tamaño comparable, variando la calidad de los datos y manteniendo procedimientos de entrenamiento similares.

Por “basura” no entendían las redes sociales en general, sino clases concretas de contenido: publicaciones cortas y muy populares, con alta interacción, y textos superficiales con baja densidad semántica. Aquí apareció un resultado interesante: la popularidad se correlacionó más con el deterioro del razonamiento, mientras que la brevedad y la pobreza de contenido afectaron más a la memoria y a la comprensión de contextos largos.

En ARC-Challenge, la precisión de uno de los resultados reportados cayó aproximadamente del 72,1% al 57,2% al entrenar exclusivamente con la muestra basura. A la vez, los modelos extrajeron peor la información de entradas largas y ofrecieron con más frecuencia recomendaciones dañinas o poco éticas. También aumentaron las puntuaciones de los llamados rasgos oscuros, aunque son métricas conductuales, no una prueba de que los LLM tengan personalidad o moral humana.

El entrenamiento correctivo con datos de mayor calidad no restauró por completo los resultados originales. Por eso, hablar de un daño “irreversible” sería excesivo: el trabajo muestra un perjuicio residual persistente tras los procedimientos de recuperación probados, pero no demuestra que sea imposible corregirlo con otro método.

Por qué filtrar el corpus ya no es solo higiene

La conclusión práctica es simple: optimizar un dataset por interacción puede optimizar silenciosamente un modelo en contra del razonamiento. Si el texto viral y corto se usa como señal de calidad, el modelo recibe muchos patrones de reacción inmediata y pocos ejemplos donde una conclusión exige trabajo secuencial.

No basta con vigilar una puntuación media en un único benchmark. Conviene seguir un conjunto de métricas: completitud de los razonamientos intermedios, recuperación de hechos en contextos largos, consistencia de los rechazos y cambios de conducta después de entrenamiento adicional. La divergencia entre estos indicadores puede revelar la degradación antes de que sea visible en una conversación normal.

Los resultados proceden de un preentrenamiento continuo controlado, no de la mezcla típica de datos de un modelo industrial. No condenan todos los datos sociales, pero cuestionan la cómoda idea de que un corpus enorme promedia automáticamente el material basura. A veces, la escala no limpia la señal: simplemente hace el fallo más consistente.

Antes explicamos cómo medir la fiabilidad de LLM-as-a-Judge e identificar respuestas inconsistentes de los modelos. Esa perspectiva de control de calidad también ayuda a entender por qué unos datos de entrenamiento degradados pueden generar razonamientos poco fiables.