PC-ALM rapproche l'apprentissage local du backprop

Ce que PC-ALM change concrètement

Pour moi, le résultat essentiel de PC-ALM est que l'apprentissage local se rapproche de backpropagation avec un nombre fini d'étapes internes. Dans sa publication « Augmented Lagrangian Predictive Coding », Sakana AI présente la méthode comme un schéma local par couche, doté d'une variable duale distincte pour chaque couche. En septembre 2026, j'y vois avant tout une proposition d'ingénierie pour un mécanisme d'apprentissage alternatif.

Le mécanisme est assez précis. L'étape habituelle de predictive coding, fondée sur une recherche d'argmin, est remplacée par une étape de gradient sur un lagrangien augmenté. La variable duale est mise à jour juste après, puis le cycle recommence dans la limite du budget d'inférence fixé.

Le régime expérimental central est T=2L, ce qui relie le budget d'inférence à la profondeur du réseau. D'après l'article, PC-ALM est comparable à backpropagation dans les combinaisons de largeur et de profondeur testées, jusqu'à 128 couches. Le résultat est particulièrement parlant sur les réseaux profonds et étroits : le predictive coding standard y prend du retard, tandis que le nouveau schéma maintient une qualité plus proche de BP.

Un test plus extrême est également présenté. Sur MNIST, la méthode entraîne des MLP résiduels allant jusqu'à 1 000 couches tout en restant à environ deux points de pourcentage de backpropagation. Des gains par rapport au predictive coding classique sont aussi montrés sur Fashion-MNIST, CIFAR-10 et Tiny ImageNet, notamment avec ResNet-18.

Pourquoi ce n'est pas qu'une astuce d'optimisation

PC-ALM semble constituer une avancée réelle pour l'apprentissage local, mais pas encore un remplacement prêt à l'emploi de backpropagation. L'enjeu n'est pas tant la métaphore biologique que le fait qu'un budget fini de mises à jour ne semble plus s'effondrer avec la profondeur dans les régimes démontrés.

Je vérifierais d'abord la sensibilité à T, le coût mémoire des variables duales et le temps total d'entraînement. Une précision proche de BP ne dit pas encore comment la méthode se comporte en mémoire et en calcul. Sa généralisation au-delà des tâches et architectures de classification d'images présentées est tout aussi importante.

Sakana AI a nettement réduit l'écart principal : des signaux locaux n'impliquent plus forcément une forte baisse de qualité. La question la plus difficile reste ouverte : quel coût de calcul se cache dans cette approximation ?

Nous avons déjà étudié comment les métriques IRT peuvent mesurer la fiabilité des systèmes LLM-as-a-Judge. Cette approche de l'évaluation aide aussi à définir ce que des recherches comme PC-ALM doivent démontrer en pratique.