Skip to main content
ARC-AGI-3Schema HarnessAI automation

Schema Harness casi cierra ARC-AGI-3 Public

Schema Harness de Impossible Research alcanzó un 98.98% en ARC-AGI-3 Public sin ajuste fino de modelos, modificando el propio ciclo del agente. Para las empresas, esta es una señal clave: la automatización con IA depende cada vez más de la arquitectura de IA correcta y del ciclo de verificación en lugar del modelo.

Contexto técnico

Me puse a revisar Schema Harness desde el lado práctico: no es un modelo nuevo, sino un envoltorio sobre modelos de frontera. Y eso es lo más interesante en el ámbito de la automatización con IA: las mejoras no vienen de la magia de los pesos, sino de cómo el agente observa, plantea hipótesis, las verifica y vuelve a planificar el camino.

Según Impossible Research, la combinación de Claude Opus 4.8 + Fable 5 obtuvo un 98.98% en ARC-AGI-3 Public. Una opción de respaldo con GPT-5.6 Sol alcanzó un 95.35%. A modo de comparación: al inicio de ARC-AGI-3, los sistemas de agentes fuertes rondaban el 0.5%, y la captura de línea base con Claude Code del mismo equipo dio un 42.83%.

Enseguida puse el freno. El resultado aún es autoreportado; ARC Prize Foundation no lo ha confirmado de forma independiente, y solo se trata del conjunto público de 25 tareas, no de la parte privada.

Pero incluso con esa salvedad, el salto no parece cosmético, sino arquitectónico. Schema obliga al modelo a comportarse no como un oráculo locuaz, sino como un ingeniero obstinado: construir un modelo funcional del entorno, ejecutar una predicción a través del historial de interacciones, detectar disparidades y rehacer el plan. En esencia, es un ciclo de agente muy disciplinado con un respaldo programático en la causalidad.

Por eso, esta noticia no puede reducirse a una más de "nueva cifra SOTA". Si los artefactos se confirman, vemos un argumento sólido de que la implementación de inteligencia artificial se resuelve cada vez más a nivel de harness, y no solo eligiendo el modelo más caro.

Impacto en el negocio y la automatización

Para sistemas aplicados, la conclusión es simple: en flujos de trabajo complejos, gana no quien simplemente conectó un LLM mediante API, sino quien incorporó verificación, memoria de acciones y reensamblaje del plan. Esto lo veo constantemente en la integración de IA para procesos de clientes: sin verificación, el agente habla bien pero se desmorona en tareas largas.

Ganarán los equipos que construyan una arquitectura de IA agéntica sobre los modelos, en lugar de rezarle a un solo prompt. Perderán quienes vendan un "bot inteligente" sin entorno, herramientas ni ciclo de autocomprobación.

Hay un inconveniente: estos sistemas son más difíciles de depurar, más costosos en tokens y requieren un trazado cuidadoso. Pero esos son precisamente los problemas que en Nahornyi AI Lab solemos resolver al construir soluciones de IA para empresas en torno a operaciones reales, no a demostraciones de escenario.

Si sus procesos ya tropiezan con verificaciones de varios pasos, excepciones y recomprobaciones manuales, este es un buen momento para rediseñar el circuito. En Nahornyi AI Lab podemos construir automatización con IA para su flujo de trabajo, de modo que el agente no alucine, sino que realmente lleve la tarea hasta el resultado.

Anteriormente examinamos cómo las métricas IRT permiten evaluar cuantitativamente la fiabilidad de los LLM como evaluadores automáticos. Este enfoque metrológico resuena con la tarea de medir con precisión las capacidades de la AGI, que discutimos aquí utilizando el ejemplo de ARC-AGI-3.

Compartir este articulo