MazeBench y la trampa de los resultados “inteligentes”

Lo que MazeBench realmente revela

MazeBench es útil no porque ofrezca otra tabla de clasificación, sino porque expone el método de solución. En el artículo sobre Maze-Bench-v0.2, los autores describen un benchmark de 110 imágenes de laberintos generadas procedimentalmente, divididas en nueve grupos controlados, y es precisamente esta estructura la que hace que los resultados sean interpretables.

La tarea en sí parece sencilla: el modelo debe recorrer un laberinto visual paso a paso. Pero según los materiales de arXiv y el conjunto de datos Menlo/Maze-Bench-v0.2 en Hugging Face, lo más interesante no son los porcentajes, sino cómo el modelo llega a ellos.

Los autores afirman con franqueza un hecho incómodo: un puntaje alto no significa necesariamente un estilo humano de planificación visual. Según el análisis, muchos modelos primero convierten la imagen en una cuadrícula textual y luego realizan una búsqueda ordinaria a nivel de token sobre esa cuadrícula.

Aquí es donde el benchmark se vuelve realmente útil: no solo comprueba si "resolvió o no", sino que nos lleva a preguntarnos qué hay exactamente detrás de una respuesta correcta.

Por qué esto importa más que otro porcentaje en una tabla

La conclusión principal es simple: MazeBench golpea la ilusión más cómoda en los sistemas de agentes. Si un modelo alcanza el 91%, como se indica para GPT-5.4, o el 79% para Gemini 3.1 Pro en el mismo artículo, eso no significa que haya "aprendido a pensar visualmente".

Para un ingeniero, esto cambia la forma de leer los benchmarks. Yo me fijaría primero no en la puntuación final, sino en la traza de la solución: si hubo una descomposición visual real, dónde el modelo pierde la estructura y si todo el razonamiento se reduce a una búsqueda oculta sobre una representación textual.

De ahí la implicación práctica: si estás construyendo un agente que debe orientarse en una interfaz, un mapa, un diagrama o un fotograma de video, un alto resultado en MazeBench por sí solo no garantiza un comportamiento robusto en el mundo visual real.

Me gusta especialmente que en torno a MazeBench ya existan no solo un artículo, sino también herramientas funcionales. En el README del proyecto visual-thinker se describe como un benchmark de CLI, y en el repositorio Alphamaze-visual-thinker hay ejemplos de ejecución de evaluaciones de modelos. Es una buena señal: el benchmark no solo se puede citar, sino también integrar en pruebas reales de pipelines.

Por ahora, el valor de MazeBench no reside en haber medido definitivamente la planificación. Al contrario: muestra de manera bastante convincente lo fácil que es confundir la planificación con una enumeración meticulosa si solo se mira la bonita puntuación final.

Anteriormente analizamos cómo medir la fiabilidad de los jueces LLM utilizando métricas IRT. Este enfoque para evaluar la calidad de los modelos se cruza con la forma en que MazeBench prueba las capacidades de IA en tareas espaciales.