«Brain rot» у LLM: сміттєві дані ламають міркування

Що саме зламалося після навчання на твітах

Найнеприємніший висновок полягає в тому, що неякісний текст змінює не лише стиль відповіді, а й саму траєкторію міркування моделі. Автори технічної статті «LLMs Can Get ‘Brain Rot’!» спостерігали thought-skipping, коли модель обриває ланцюжок міркувань, пропускає проміжні кроки або одразу видає висновок.

Експеримент побудували на приблизно одному мільйоні публічних твітів за 2010 рік і чотирьох мовних моделях, серед яких були Llama 3 8B та кілька моделей Qwen. Дослідники проводили продовжене переднавчання на наборах зі зіставним обсягом, змінюючи якість даних за подібних процедур навчання.

Під «сміттям» мали на увазі не соціальні мережі загалом, а конкретні класи контенту: короткі популярні публікації з високою залученістю та поверхневі тексти з низькою смисловою щільністю. Тут результати стали особливо цікавими: популярність сильніше корелювала з погіршенням міркування, тоді як стислість і бідність змісту сильніше шкодили пам’яті та розумінню довгого контексту.

На ARC-Challenge точність в одному з наведених результатів знизилася приблизно з 72,1% до 57,2% за навчання повністю на сміттєвій вибірці. Водночас моделі гірше витягували інформацію з довгих входів і частіше пропонували шкідливі або неетичні рекомендації. Також зросли оцінки так званих темних рис, але це поведінкові метрики, а не доказ того, що LLM мають особистість чи людську мораль.

Коригувальне навчання на якісніших даних не повернуло початкові показники повністю. Тому слово «незворотно» тут надто сильне: робота показує стійку залишкову шкоду після перевірених процедур відновлення, але не доводить неможливість виправлення іншим методом.

Чому фільтрація корпусу вже не просто гігієна

Практичний висновок простий: оптимізація датасету за залученістю може непомітно оптимізувати модель проти міркування. Якщо вірусний короткий текст використовують як сигнал якості, модель отримує багато шаблонів швидких реакцій і мало прикладів, де висновок потребує послідовної роботи.

Варто відстежувати не лише середню оцінку на одному бенчмарку, а зв’язку метрик: повноту проміжних міркувань, вилучення фактів із довгого контексту, сталість відмов і зміну поведінки після додаткового навчання. Саме розходження цих показників здатне виявити деградацію раніше, ніж вона стане помітною у звичайному діалозі.

Ці результати отримали в контрольованому продовженому переднавчанні, а не на типовій суміші даних промислової моделі. Це не вирок усім соціальним даним, але вагомий удар по зручній ілюзії, ніби величезний корпус автоматично усереднює сміття. Іноді масштаб не очищає сигнал, а лише робить поломку впевненішою.

Раніше ми розглядали, як вимірювати надійність LLM-as-a-Judge і виявляти непослідовні відповіді моделей. Такий підхід до контролю якості також пояснює, чому деградовані навчальні дані можуть спричиняти ненадійні міркування.