Skip to main content
ARC-AGI-3Schema HarnessAI automation

Schema Harness a presque résolu ARC-AGI-3 Public

Schema Harness d’Impossible Research a revendiqué 98,98 % sur ARC-AGI-3 Public sans affiner les modèles, en modifiant la boucle agentique elle-même. Pour les entreprises, c’est un signal fort : l’automatisation IA bute de plus en plus non pas sur le modèle, mais sur la bonne architecture IA et le cycle de vérification.

Contexte technique

J’ai examiné Schema Harness immédiatement sous l’angle pratique : ce n’est pas un nouveau modèle, mais un harnais au-dessus des modèles de pointe. Et c’est ce qui me paraît le plus intéressant dans le contexte de l’automatisation IA : les gains ne proviennent pas d’une magie dans les poids, mais de la façon dont l’agent observe, construit une hypothèse, la vérifie et replanifie sa trajectoire.

Selon Impossible Research, la combinaison Claude Opus 4.8 + Fable 5 a atteint 98,98 % sur ARC-AGI-3 Public. Une option de secours avec GPT-5.6 Sol a donné 95,35 %. À titre de comparaison : au lancement d’ARC-AGI-3, les systèmes agents performants tournaient autour de 0,5 %, et la capture de référence de Claude Code par la même équipe a donné 42,83 %.

J’ai immédiatement mis un frein. Le résultat est encore autodéclaré ; l’ARC Prize Foundation ne l’a pas confirmé de manière indépendante, et il ne s’agit que de l’ensemble public de 25 tâches, pas de la partie privée.

Mais même avec cette réserve, le saut ne semble pas cosmétique, mais architectural. Schema force le modèle à se comporter non pas comme un oracle bavard, mais comme un ingénieur têtu : construire un modèle fonctionnel de l’environnement, exécuter une prédiction à travers l’historique des interactions, repérer une divergence et refaire le plan. En substance, c’est un cycle agent très discipliné avec un appui programmatique sur la causalité.

C’est pourquoi cette nouvelle ne peut être réduite à un énième « nouveau chiffre SOTA ». Si les artefacts se confirment, nous voyons un argument fort en faveur du fait que l’implémentation de l’intelligence artificielle se résout de plus en plus au niveau du harnais, et pas seulement en choisissant le modèle le plus cher.

Impact sur les entreprises et l’automatisation

Pour les systèmes appliqués, la conclusion est simple : dans les flux de travail complexes, le gagnant n’est pas celui qui a simplement connecté un LLM via une API, mais celui qui a intégré la vérification, la mémoire des actions et la recomposition du plan. Je le vois constamment dans l’intégration IA pour les processus clients : sans vérification, l’agent parle bien mais s’effondre sur une tâche longue.

Les équipes qui construisent une architecture IA agentique au-dessus des modèles, plutôt que de prier sur un seul prompt, gagneront. Celles qui vendent un « bot intelligent » sans environnement, outils et cycle d’auto-vérification perdront.

Il y a un inconvénient : ces systèmes sont plus difficiles à déboguer, plus coûteux en tokens et nécessitent un traçage soigné. Mais ce sont précisément les problèmes que nous résolvons habituellement chez Nahornyi AI Lab lorsque nous construisons des solutions IA pour les entreprises autour d’opérations réelles, et non de démonstrations sur scène.

Si vos processus butent déjà sur des vérifications en plusieurs étapes, des exceptions et des revérifications manuelles, c’est le bon moment pour reconcevoir la boucle. Chez Nahornyi AI Lab, nous pouvons concevoir une automatisation IA pour votre flux de travail afin que l’agent n’hallucine pas, mais mène réellement la tâche à son terme.

Précédemment, nous avons examiné comment les métriques IRT permettent d’évaluer quantitativement la fiabilité des LLM en tant qu’évaluateurs automatiques. Cette approche métrologique fait écho à la tâche de mesure précise des capacités de l’AGI, que nous discutons ici en utilisant l’exemple d’ARC-AGI-3.

Partager cet article