La mémoire plutôt que la réécriture des poids des LLM

L’auto-amélioration passe des poids à la mémoire

Écartons d’emblée la dimension science-fiction : la forme pratique la plus proche de l’auto-amélioration des LLM ressemble à l’évolution d’une couche externe, et non à un modèle qui réécrit secrètement ses propres poids. Dans deux articles du blog Percepta AI, Can LLMs Grow Their Own Capabilities et Spotlight: Memory, la mémoire apparaît comme la principale couche adaptable. En octobre 2026, il est plus raisonnable d’y voir une carte technique de cette orientation qu’une annonce de système autonome finalisé.

Dans cette architecture, le modèle de base reste figé ou ne change que rarement. L’agent accumule des épisodes, des conclusions et des évaluations d’utilité, puis décide ce qu’il faut conserver, mettre à jour, fusionner ou supprimer. On obtient un cycle composé de l’observation, l’enregistrement, l’organisation, la récupération, la réflexion et l’ajustement de la mémoire ou du cadre logiciel autour du modèle.

Le changement essentiel ne concerne pas le volume de l’historique, mais sa gouvernance. Un flux de contexte brut préserve mal les liens entre les événements et encombre progressivement la recherche. La mémoire structurée répartit l’expérience en hiérarchies, graphes, domaines ou épisodes, tandis que des politiques de gestion déterminent quand une information doit être réévaluée, compressée ou oubliée.

Les systèmes de recherche distinguent déjà ces approches. MEMORYLLM utilise un pool de mémoire intégré aux couches du transformeur, tandis que StructMem et des architectures similaires organisent les enregistrements en structures connectées. Le benchmark StructMemEval évalue non seulement la restitution de faits, mais aussi la capacité d’un agent à organiser une mémoire de long terme. C’est là que le sujet devient intéressant : l’objet de l’optimisation n’est plus une réponse isolée du modèle, mais sa manière de traiter l’expérience accumulée.

Ce qui change réellement pour les systèmes agentiques

La principale conséquence est simple : les capacités d’un agent peuvent progresser sans ajuster en permanence le LLM de base. L’adaptation devient plus facile à maîtriser, car la mémoire peut être examinée, modifiée, limitée et nettoyée indépendamment des paramètres du modèle. Pour les tâches longues, cette couche paraît plus réaliste que l’idée d’une réécriture récursive et incontrôlée des poids.

La mémoire ne transforme toutefois pas automatiquement un agent en système fiable. Une structure erronée renforce de mauvaises associations, les doublons gonflent le stockage et les hallucinations mémorisées reviennent dans le raisonnement comme s’il s’agissait d’expériences vérifiées. À mesure que le volume d’entrées augmente, le goulot d’étranglement n’est plus l’enregistrement, mais la sélection du fragment réellement utile.

J’évaluerais d’abord la qualité des mises à jour, de l’oubli et de la résolution des conflits, plutôt que le volume maximal de mémoire. Si une politique de gestion préserve une erreur séduisante tout en supprimant un fait gênant, l’agent apprend formellement, mais avance dans la mauvaise direction. La question la plus intéressante n’est plus de savoir si un LLM peut retenir davantage, mais qui pilotera ce à quoi il apprend à faire confiance, et comment.

Nous avons déjà présenté Rust LocalGPT, un assistant local conçu autour d’une mémoire persistante et d’une API pratique. Sa manière de conserver le contexte est directement liée aux architectures de mémoire structurée explorées ici.