MazeBench et le piège des résultats “intelligents”

Ce que MazeBench révèle vraiment

MazeBench est utile non pas parce qu’il fournit un nouveau classement, mais parce qu’il dévoile la méthode de résolution. Dans l’article sur Maze-Bench-v0.2, les auteurs décrivent un benchmark composé de 110 images de labyrinthes générées de manière procédurale, réparties en neuf groupes contrôlés, et c’est précisément cette structure qui rend les résultats interprétables.

La tâche en elle-même semble simple : le modèle doit parcourir un labyrinthe visuel étape par étape. Mais d’après les documents arXiv et le jeu de données Menlo/Maze-Bench-v0.2 sur Hugging Face, le plus intéressant n’est pas le pourcentage, mais la manière dont le modèle y parvient.

Les auteurs énoncent crûment un fait dérangeant : un score élevé ne signifie pas nécessairement une planification visuelle de type humain. D’après l’analyse, de nombreux modèles convertissent d’abord l’image en une grille textuelle, puis effectuent une recherche ordinaire au niveau des tokens sur cette grille.

C’est là que le benchmark devient vraiment utile. Il ne vérifie pas seulement « résolu ou non », mais incite à se demander ce qui se cache exactement derrière une réponse correcte.

Pourquoi cela importe plus qu’un énième pourcentage dans un tableau

La principale leçon est simple : MazeBench frappe au cœur de l’illusion la plus commode dans les systèmes d’agents. Si un modèle atteint 91 %, comme indiqué pour GPT-5.4, ou 79 % pour Gemini 3.1 Pro dans le même article, cela ne signifie pas qu’il a « appris à penser avec ses yeux ».

Pour un ingénieur, cela change la façon de lire les benchmarks. Je regarderais d’abord non pas le score final, mais la trace de la solution : y a-t-il eu une véritable décomposition visuelle, à quel moment le modèle perd-il la structure, et tout le raisonnement se réduit-il à une recherche cachée sur une représentation textuelle ?

D’où l’implication pratique : si vous construisez un agent qui doit s’orienter dans une interface, une carte, un schéma ou une image vidéo, un score élevé à MazeBench ne garantit pas à lui seul un comportement robuste dans le monde visuel réel.

J’apprécie particulièrement qu’autour de MazeBench, il existe déjà non seulement un article, mais aussi des outils opérationnels. Dans le fichier README du projet visual-thinker, il est décrit comme un benchmark en ligne de commande, et le dépôt Alphamaze-visual-thinker contient des exemples d’exécution d’évaluations de modèles. C’est un bon signe : le benchmark peut non seulement être cité, mais aussi intégré dans de véritables tests de pipelines.

Pour l’instant, la valeur de MazeBench n’est pas d’avoir définitivement mesuré la planification. Au contraire, il montre de manière assez convaincante à quel point il est facile de confondre la planification avec une énumération minutieuse si l’on ne regarde que le beau score final.

Nous avons précédemment analysé comment mesurer la fiabilité des juges LLM à l'aide de métriques IRT. Cette approche d'évaluation de la qualité des modèles recoupe la manière dont MazeBench teste les capacités de l'IA dans les tâches spatiales.