Технический контекст
Я полез в trycua/cua не из любопытства, а с очень прикладным вопросом: можно ли на этом нормально строить AI automation для десктопных процессов, а не очередную демку с мышкой по экрану. И вот тут проект меня зацепил.
CUA дает не просто скрипты для кликов, а целую инфраструктуру для Computer-Use Agents: sandbox-окружения, SDK, бенчмарки и драйвер, который умеет рулить нативными приложениями через MCP over stdio. Ключевой момент в том, что агент работает в фоне и не крадет фокус окна. Для GUI-автоматизации это почти главный барьер, который раньше ломал половину сценариев.
Поддержка заявлена для macOS, Windows и Linux, причем Windows-драйвер уже называют stable, а Linux пока выглядит как pre-release история. Есть интеграции с Claude Code, Cursor, Codex, OpenClaw и кастомными клиентами. То есть это уже не игрушка вокруг одного вендора, а нормальная прослойка под разные агентные стеки.
Еще один сильный кусок, который я бы не пропускал, это виртуализация. У них есть pylume и tooling для VM, включая macOS и Linux на Apple Silicon, плюс Docker-сценарии и готовый Agent UI. Если по-простому: можно быстро поднять изолированную среду, прогнать агента по реальным desktop-задачам и не ломать рабочую машину.
Мне отдельно понравилось, что они не забыли про оценку качества. Из коробки есть совместимость с OSWorld и Windows Agent Arena. Когда я смотрю на AI solution development для бизнеса, меня всегда интересует не только “агент умеет кликать”, а как потом доказать, что он не развалится на сотом запуске. Тут хотя бы есть фундамент для вменяемой проверки.
Что это меняет для бизнеса и автоматизации
Выигрывают команды, у которых куча рутины сидит в старых desktop-приложениях, внутренних кабинетах, CRM без API и Windows-софте из нулевых. Для них artificial intelligence integration теперь выглядит не как дорогой RPA-проект на полгода, а как более гибкая архитектура с агентом, sandbox и тестами.
Проигрывают классические хрупкие GUI-скрипты, которые завязаны на фокус окна, координаты и молитвы. CUA не убирает сложность полностью, но заметно снижает цену входа в AI implementation там, где API нет или он бесполезен.
Я бы, правда, не советовал бежать в прод с голой open-source сборкой. Здесь быстро всплывут права доступа, изоляция, наблюдаемость, ретраи, контроль действий агента и стоимость ошибок. Мы в Nahornyi AI Lab как раз решаем такие вещи на практике: если у вас процессы застряли в GUI и вы хотите build AI automation без цирка с хрупкими макросами, можно спокойно разложить ваш сценарий, собрать безопасную архитектуру и довести это до рабочего результата.