Le contexte technique
J'adore ce genre de découvertes dans le domaine de l'interprétabilité, car elles ramènent les pieds sur terre face à toute la hype autour de la « magie » des modèles. Ici, la situation est assez pragmatique : dans des tâches comme x + y mod p, un transformeur n'a pas besoin de mémoriser une table, il peut trouver un moyen plus compact de coder l'information, et il s'avère que c'est la géométrie circulaire. Pour moi, c'est un indice direct qui montre pourquoi une intégration correcte de l'IA doit tenir compte de la mécanique interne du modèle, et pas seulement de la belle interface par-dessus.
Pour simplifier, les restes modulaires sont disposés comme des points sur un cercle : cosinus et sinus pour chaque valeur. Ensuite, l'addition modulaire se transforme presque en une rotation d'un certain angle. Autrement dit, le modèle ne « se souvient pas de la réponse », mais fait tourner une aiguille sur un cadran interne.
Et je ne dirais pas à la hâte qu'il a simplement répété le texte de son jeu de données. Les travaux de recherche mécaniste sur l'addition modulaire et le grokking montrent que le cercle apparaît dans les activations et l'espace d'embedding comme une structure de calcul efficace. Cela est visible par l'analyse en composantes principales (ACP), la décomposition en valeurs singulières (SVD) et surtout par l'analyse dans l'espace de Fourier, où les fréquences nécessaires commencent à dominer.
J'apprécie particulièrement l'observation sur les multiples « cadrans ». C'est comme un ensemble de représentations : le modèle ne maintient pas un seul cercle, mais plusieurs projections fréquentielles de la même valeur. Lorsqu'elles convergent, la confiance est plus élevée. Et oui, ce n'est plus une simple métaphore du genre « c'est un peu comme une horloge », mais une description fonctionnelle de la manière dont le réseau élabore une réponse stable.
Une nuance importante : cette nouvelle n'est pas entièrement neuve, c'est plutôt une bonne occasion de revenir sur les résultats de 2024-2026 concernant le grokking et l'arithmétique modulaire. Mais je trouve ces rétrospectives utiles car elles expliquent pourquoi le modèle trouve parfois lui-même un meilleur algorithme que celui que nous aurions codé manuellement.
Impact sur l'entreprise et l'automatisation
Ma conclusion pratique est simple. Si un modèle peut découvrir spontanément la géométrie compacte d'une tâche, il n'est pas toujours avantageux de l'étouffer avec des règles rigides à chaque étape de l'automatisation par l'IA. Il est parfois préférable de laisser à l'architecture l'espace nécessaire pour apprendre la bonne représentation interne, puis d'entourer le système de validations.
Les équipes qui réussissent sont celles qui construisent des pipelines vérifiant les signaux internes, et pas seulement la précision finale. Celles qui considèrent les LLM comme des boîtes noires et s'étonnent des pannes étranges dans les cas limites sont perdantes.
Chez Nahornyi AI Lab, nous résolvons ces problèmes en pratique : où laisser de la liberté au modèle et où contraindre sa logique avec des outils externes, du retrieval ou des règles. Si le développement de votre solution d'IA se heurte à l'imprévisibilité du modèle, nous pouvons décomposer la tâche au niveau de l'architecture et construire un système qui fonctionne de manière fiable dans un processus réel, au lieu de simplement « deviner ». C'est précisément là que Vadym Nahornyi et Nahornyi AI Lab peuvent aider, sans magie, mais avec une ingénierie solide.