Contexte technique
Je me suis plongé dans trycua/cua non par curiosité, mais avec une question très pratique : peut-on vraiment construire une automatisation de l'IA pour les processus de bureau avec cela, et pas simplement une autre démo de souris à l'écran ? Et c'est là que le projet m'a accroché.
CUA ne fournit pas seulement des scripts de clics, mais toute une infrastructure pour les agents d'utilisation d'ordinateur : des environnements sandbox, un SDK, des benchmarks et un pilote capable de contrôler les applications natives via MCP sur stdio. Le point clé est que l'agent travaille en arrière-plan et ne vole pas le focus de la fenêtre. Pour l'automatisation GUI, c'est presque la principale barrière qui cassait la moitié des scénarios auparavant.
Le support est annoncé pour macOS, Windows et Linux, le pilote Windows étant déjà considéré comme stable, tandis que Linux semble être une version préliminaire. Il existe des intégrations avec Claude Code, Cursor, Codex, OpenClaw et des clients personnalisés. Ce n'est donc plus un jouet autour d'un seul fournisseur, mais une couche solide pour différentes piles d'agents.
Un autre point fort que je ne négligerais pas est la virtualisation. Ils disposent de pylume et d'outils pour les VM, y compris macOS et Linux sur Apple Silicon, ainsi que des scénarios Docker et une interface agent prête à l'emploi. En termes simples : vous pouvez rapidement mettre en place un environnement isolé, exécuter un agent sur de vraies tâches de bureau et ne pas casser votre machine de travail.
J'ai particulièrement apprécié qu'ils n'aient pas oublié l'évaluation de la qualité. D'emblée, il y a une compatibilité avec OSWorld et Windows Agent Arena. Lorsque j'examine le développement de solutions d'IA pour les entreprises, je m'intéresse toujours non seulement à ce que « l'agent sache cliquer », mais aussi à la manière de prouver ensuite qu'il ne s'effondrera pas au centième lancement. Ici, il y a au moins une base pour une validation sensée.
Ce que cela change pour les entreprises et l'automatisation
Les gagnants sont les équipes qui ont beaucoup de routine coincée dans d'anciennes applications de bureau, des portails internes, des CRM sans API et des logiciels Windows des années 2000. Pour elles, l'intégration de l'intelligence artificielle ne ressemble plus à un coûteux projet RPA de six mois, mais à une architecture plus flexible avec un agent, un sandbox et des tests.
Les perdants sont les scripts GUI fragiles classiques qui dépendent du focus de la fenêtre, des coordonnées et des prières. CUA ne supprime pas complètement la complexité, mais réduit sensiblement la barrière à l'entrée pour la mise en œuvre de l'IA là où il n'y a pas d'API ou qu'elle est inutile.
Je ne conseillerais cependant pas de se précipiter en production avec une compilation open-source brute. Ici, les droits d'accès, l'isolation, l'observabilité, les tentatives de répétition, le contrôle des actions de l'agent et le coût des erreurs feront rapidement surface. Chez Nahornyi AI Lab, nous résolvons précisément ces problèmes en pratique : si vos processus sont bloqués dans des interfaces graphiques et que vous souhaitez construire une automatisation de l'IA sans le cirque des macros fragiles, nous pouvons analyser votre scénario, assembler une architecture sécurisée et le mener à un résultat fonctionnel.