PC-ALM bringt lokales Lernen näher an Backprop

Was PC-ALM konkret verändert

Für mich besteht das wichtigste Ergebnis von PC-ALM darin, dass lokales Lernen mit einer endlichen Zahl interner Schritte näher an Backpropagation rückt. Sakana AI beschreibt die Methode in der Veröffentlichung „Augmented Lagrangian Predictive Coding“ als schichtlokales Verfahren mit einer eigenen dualen Variable für jede Schicht. Stand September 2026 lese ich die Arbeit vor allem als technischen Vorschlag für einen alternativen Lernmechanismus.

Die Mechanik ist recht konkret. Der übliche Predictive-Coding-Schritt mit einer argmin-Suche wird durch einen Gradientenschritt auf einem augmentierten Lagrange-Ansatz ersetzt. Direkt danach wird die duale Variable aktualisiert; anschließend wiederholt sich der Zyklus innerhalb eines festgelegten Inferenzbudgets.

Das zentrale Experimentregime lautet T=2L, wobei das Inferenzbudget an die Netzwerktiefe gekoppelt ist. Laut Paper ist PC-ALM bei den getesteten Kombinationen aus Breite und Tiefe bis zu 128 Schichten mit Backpropagation vergleichbar. Besonders aussagekräftig ist das Ergebnis bei tiefen, schmalen Netzen: Standard-Predictive-Coding fällt dort zurück, während das neue Verfahren die Qualität näher an BP hält.

Es gibt auch einen extremeren Test. Auf MNIST trainiert die Methode residuale MLPs mit bis zu 1.000 Schichten und bleibt dabei ungefähr zwei Prozentpunkte hinter Backpropagation. Verbesserungen gegenüber herkömmlichem Predictive Coding werden außerdem auf Fashion-MNIST, CIFAR-10 und Tiny ImageNet gezeigt, einschließlich Experimenten mit ResNet-18.

Warum das mehr als ein Optimierertrick ist

PC-ALM wirkt wie ein echter Fortschritt für lokales Lernen, aber noch nicht wie ein einsatzfertiger Ersatz für Backpropagation. Entscheidend ist nicht die biologische Metapher an sich, sondern dass ein endliches Update-Budget in den gezeigten Regimen mit wachsender Tiefe nicht mehr zu zerfallen scheint.

Ich würde zuerst die Empfindlichkeit gegenüber T, die Speicherkosten der dualen Variablen und die gesamte Trainingszeit prüfen. Eine Genauigkeit nahe BP zeigt noch nicht, wie sich die Methode bei Speicherbedarf und Rechenaufwand verhält. Ebenso interessant ist die Übertragbarkeit über die vorgestellten Bildklassifikationsaufgaben und Architekturen hinaus.

Sakana AI hat die zentrale Lücke deutlich verkleinert: Lokale Signale müssen nicht länger einen starken Qualitätsverlust bedeuten. Offen bleibt nun die härtere Frage, wie viel Rechenaufwand in dieser Annäherung verborgen ist.

Wir haben zuvor erläutert, wie IRT-Metriken die Zuverlässigkeit von LLM-as-a-Judge-Systemen messen können. Diese Bewertungsperspektive hilft auch einzuordnen, was neue Forschung wie PC-ALM in der Praxis belegen muss.