Технический контекст
Я бы сразу развел эти инструменты по ролям, иначе на этапе AI implementation можно принять кривое архитектурное решение. Artificial Analysis удобен как внешний агрегатор: там я быстро сверяю разные модели, сборки и их поведение по публичным метрикам. Это хороший первый фильтр, когда нужно понять, что вообще стоит тащить в тестовый контур.
Но DeepSWE v1.1 это уже другая история. Я полез в описание и там нет сравнения effort-режимов, саб-агентов или внутренних конфигураций одной и той же модели. DeepSWE v1.1 измеряет, как coding agent проходит реальные длинные инженерные задачи, и в версии 1.1 акцент сместили на оценку закоммиченных изменений, а не промежуточных шагов.
То есть формулировка “DeepSWE как стандарт для сравнения effort levels” была бы неточной. Корректнее так: это сильный benchmark для frontier coding agents на long-horizon задачах. По данным из открытого описания, там 113 задач, 91 репозиторий и 5 языков, а сама версия 1.1 обновляет механику исполнения и скоринга.
Мне в таких кейсах нравится простое правило. Если я выбираю модельную линейку, смотрю агрегаторы вроде Artificial Analysis. Если проверяю, потянет ли агент реальную разработку, смотрю DeepSWE.
Что это меняет для бизнеса и автоматизации
На практике это экономит недели. Я не раз видел, как команда берет высокий балл из одного лидерборда и пытается на его основе строить automation with AI для разработки, саппорта или внутреннего поиска, а потом удивляется просадке в проде.
Кому это выгодно? Тем, кто выбирает AI solutions for business не по хайпу, а по типу задачи. Aggregator помогает сузить shortlist, а DeepSWE полезен, когда вы реально хотите создать AI agent для инженерных workflow.
Проигрывают те, кто смешивает бенчмарки в одну кучу. У нас в Nahornyi AI Lab я как раз решаю такие штуки руками: сначала раскладываю, что именно нужно мерить, потом собираю адекватную AI architecture под процесс, а не под красивый скриншот лидерборда.
Если у вас сейчас спор про выбор модели, effort-настроек или агентного контура, давайте разберем это на ваших задачах. Часто хватает одного нормального тестового стенда, чтобы перестать гадать и спокойно build AI automation под реальные ограничения бизнеса.