PC-ALM наближає локальне навчання до backprop

Що саме змінює PC-ALM

Для мене головний результат PC-ALM полягає в тому, що локальне навчання наблизилося до backpropagation за скінченної кількості внутрішніх кроків. У публікації «Augmented Lagrangian Predictive Coding» Sakana AI описує метод як пошарово локальну схему з окремою подвійною змінною для кожного шару. Станом на вересень 2026 року я читаю цю роботу насамперед як інженерну заявку на альтернативний механізм навчання.

Механіка досить конкретна. Звичайний крок predictive coding із пошуком argmin замінюється градієнтним кроком за доповненим лагранжіаном. Відразу після нього оновлюється подвійна змінна, а потім цикл повторюється в межах заданого бюджету інференсу.

Ключовий режим в експериментах задано як T=2L, де бюджет інференсу пов'язаний із глибиною мережі. За даними статті, PC-ALM зіставний із backpropagation у перевірених поєднаннях ширини та глибини аж до 128 шарів. Особливо показовий результат на глибоких вузьких мережах: стандартний predictive coding там відстає, а нова схема утримує якість ближче до BP.

Є і більш екстремальна перевірка. На MNIST метод навчає residual MLP глибиною до 1000 шарів і залишається приблизно у двох відсоткових пунктах від backpropagation. Поліпшення порівняно зі звичайним predictive coding також показано на Fashion-MNIST, CIFAR-10 і Tiny ImageNet, зокрема в експериментах із ResNet-18.

Чому це більше, ніж трюк з оптимізатором

PC-ALM виглядає як реальний крок для локального навчання, але поки не як готова заміна backpropagation. Тут важлива не сама біологічна метафора, а те, що скінченний бюджет оновлень перестає руйнуватися зі зростанням глибини в показаних режимах.

Насамперед я б перевірив чутливість до T, вартість зберігання подвійних змінних і підсумковий час навчання. Точність, близька до BP, ще не показує, як метод поводитиметься щодо пам'яті та обчислень. Не менш цікавим є перенесення за межі представлених задач класифікації зображень і архітектур.

Sakana AI помітно скоротила головний розрив: локальні сигнали вже не обов'язково означають різку втрату якості. Тепер відкритим лишається складніше питання: скільки обчислювальної ціни приховано всередині цього наближення.

Раніше ми розглядали, як метрики IRT можуть вимірювати надійність систем LLM-as-a-Judge. Цей погляд на оцінювання також допомагає зрозуміти, що нові дослідження на кшталт PC-ALM мають продемонструвати на практиці.