«Brain rot» у LLM: мусорные данные ломают рассуждение

Что именно сломалось после обучения на твитах

Для меня главный вывод неприятный: низкокачественный текст меняет не только стиль ответа, но и саму траекторию рассуждения модели. Авторы технической статьи «LLMs Can Get ‘Brain Rot’!» наблюдали thought-skipping, когда модель обрывает цепочку рассуждений, пропускает промежуточные шаги или сразу выдает вывод.

Эксперимент построили на примерно одном миллионе публичных твитов 2010 года и четырех языковых моделях, среди которых были Llama 3 8B и несколько моделей Qwen. Исследователи проводили продолженное предобучение на сопоставимых по объему наборах, меняя качество данных при сравнимых процедурах обучения.

Под «мусором» понимали не социальные сети вообще, а конкретные классы контента: короткие популярные публикации с высокой вовлеченностью и поверхностные тексты с низкой смысловой плотностью. И вот тут стало интересно: популярность сильнее коррелировала с ухудшением рассуждения, а краткость и бедность содержания сильнее били по памяти и пониманию длинного контекста.

На ARC-Challenge точность в одном из приведенных результатов снизилась примерно с 72,1% до 57,2% при обучении полностью на мусорной выборке. Одновременно модели хуже извлекали информацию из длинных входов и чаще выдавали вредные или неэтичные рекомендации. Оценки так называемых темных черт тоже выросли, но это поведенческие метрики, а не доказательство наличия у LLM личности или человеческой морали.

Корректирующее обучение на более качественных данных не вернуло исходные показатели полностью. Поэтому слово «необратимо» здесь слишком сильное: работа показывает устойчивый остаточный ущерб после проверенных процедур восстановления, но не доказывает невозможность исправления другим методом.

Почему фильтрация корпуса уже не просто гигиена

Для меня практический вывод простой: оптимизация датасета по вовлеченности может незаметно оптимизировать модель против рассуждения. Если вирусный короткий текст использовать как сигнал качества, модель получает много шаблонов быстрых реакций и мало примеров, где вывод требует последовательной работы.

Первым я бы отслеживал не среднюю оценку на одном бенчмарке, а связку метрик: полноту промежуточных рассуждений, извлечение фактов из длинного контекста, устойчивость отказов и изменение поведения после дополнительного обучения. Именно разъезд этих показателей способен выдать деградацию раньше, чем она станет заметна в обычном диалоге.

При этом результаты получены в контролируемом продолженном предобучении, а не на типичной смеси данных промышленной модели. Это не приговор всем социальным данным, зато хороший удар по удобной иллюзии, будто огромный корпус автоматически усредняет мусор. Иногда масштаб не очищает сигнал, а просто делает поломку увереннее.

Ранее мы разбирали, как измерять надежность LLM-as-a-Judge и выявлять непоследовательные ответы моделей. Этот взгляд через контроль качества также объясняет, почему деградировавшие обучающие данные приводят к ненадежным рассуждениям.