MazeBench і пастка “розумних” результатів

Що насправді показує MazeBench

MazeBench корисний не тим, що дає ще одну таблицю лідерів, а тим, що розкриває спосіб вирішення. У статті про Maze-Bench-v0.2 автори описують бенчмарк із 110 процедурно згенерованих зображень лабіринтів, розділених на дев’ять контрольованих груп, і саме ця структура робить результати інтерпретованими.

Саме завдання виглядає просто: модель повинна пройти візуальний лабіринт крок за кроком. Але за матеріалами arXiv та набору даних Menlo/Maze-Bench-v0.2 на Hugging Face найцікавіше не у відсотках, а в тому, як модель до них приходить.

Автори прямо пишуть неприємну річ: високий бал не обов’язково означає людський стиль візуального планування. Багато моделей, судячи з аналізу, спочатку переводять зображення в текстову сітку, а потім виконують звичайний пошук на рівні токенів по цій сітці.

І ось тут бенчмарк стає дійсно корисним. Він перевіряє не лише «вирішив чи ні», а підштовхує до питання, що саме ховається за правильною відповіддю.

Чому це важливіше за черговий відсоток у таблиці

Головний висновок простий: MazeBench б'є по найзручнішій ілюзії в агентних системах. Якщо модель набирає 91%, як зазначено для GPT-5.4, або 79% для Gemini 3.1 Pro у тій самій статті, це ще не означає, що вона «навчилася думати очима».

Для інженера це змінює спосіб читання бенчмарків. Я б у першу чергу дивився не на підсумковий бал, а на трасу рішення: чи була реальна візуальна декомпозиція, де модель втрачає структуру, і чи не зводиться весь reasoning до прихованого пошуку за текстовим представленням.

Звідси й практичний наслідок. Якщо ви будуєте агента, який повинен орієнтуватися в інтерфейсі, мапі, схемі або кадрі з відео, високий результат на MazeBench сам по собі не гарантує стійку поведінку в реальному візуальному світі.

Окремо подобається, що навколо MazeBench уже є не лише стаття, а й робоча обв'язка. У README проєкту visual-thinker його описано як CLI-бенчмарк, а в репозиторії Alphamaze-visual-thinker наведено приклади запуску оцінювання моделей. Це хороший сигнал: бенчмарк можна не лише цитувати, а й вбудовувати в реальну перевірку пайплайнів.

Зараз цінність MazeBench не в тому, що він остаточно виміряв планування. Навпаки: він досить переконливо показує, наскільки легко сплутати планування з акуратним перебором, якщо дивитися лише на гарний фінальний бал.

Ми раніше розбирали, як вимірювати надійність LLM-суддів за допомогою IRT-метрик. Цей підхід до оцінки якості моделей перетинається з тим, як MazeBench тестує здібності ШІ у просторових задачах.