Contexte technique
J'adore ce genre de projets, non pas pour le battage médiatique, mais pour leur architecture. Ils ont réellement construit une chaîne : caméra → Claude 3.5 Sonnet → JSON de mouvement → impulsions EMS → action physique. Ce n'est plus un simple chatbot, mais une automatisation par l'IA tangible, à l'intersection de la vision et des actionneurs.
Le prototype a été réalisé en 48 heures en octobre 2025, donc je le considère maintenant comme une référence éprouvée plutôt qu'une nouvelle de dernière minute. Les sources sont solides : un post LinkedIn d'Endrit Restelica, une vidéo YouTube et un dépôt GitHub public avec le pipeline.
J'ai creusé les spécifications, et le plus intéressant n'est pas un record à Beat Saber, mais le fait que le système fonctionne sur du matériel accessible. L'entrée provient d'une webcam 1080p/60fps, les calculs tournent sur un Raspberry Pi 5, Claude reçoit les images et renvoie une structure comme target_pose, muscle_groups et intensity, puis Python et Arduino traduisent cela en impulsions EMS.
La latence annoncée est d'environ 142 ms pour la chaîne de l'image au muscle. Pour la motricité fine, c'est encore un peu brut, mais pour des mouvements rythmiques et prévisibles, c'est suffisant pour que le système ressemble à une boucle de contrôle fonctionnelle, pas à un tour de magie.
Les limites sont aussi honnêtement présentées : fatigue musculaire après 20-28 minutes, sécurité uniquement avec une limitation de courant, et pas de retour sensoriel adéquat. Et oui, Anthropic ne positionne pas cela pour un usage médical, donc je séparerais immédiatement ce prototype de recherche d'un produit commercial.
Ce que cela change pour l'entreprise et l'automatisation
Je ne vois pas ici un marché du « l'IA joue à la VR pour vous », mais un vecteur plus utile : l'intégration de l'intelligence artificielle se rapproche des opérations physiques. Il ne s'agit plus seulement d'analyser une vidéo, mais de déclencher immédiatement une action : exosquelette, rééducation, manipulateurs industriels, apprentissage de schémas moteurs.
Les gagnants sont les équipes capables de construire la boucle complète : vision, modèle, contrôleur sécurisé, télémétrie et arrêt d'urgence. Les perdants sont ceux qui pensent qu'il suffit de brancher un LLM à un appareil et d'appeler ça un produit.
Dans les projets clients, je me heurte constamment à la même réalité : le plus difficile n'est pas le modèle, mais une architecture IA fiable entre le logiciel et le monde physique. Chez Nahornyi AI Lab, nous résolvons justement ces goulots d'étranglement, lorsqu'il faut un développement de solution IA clair pour un processus, ses risques et ses contraintes réelles, et non une simple démo.
Si vous avez un projet où il faut lier vision par ordinateur, signaux et action dans une seule boucle, abordons-le sans magie. Parfois, une intégration IA soignée suffit à supprimer les opérations manuelles, à accélérer le cycle et à ne plus faire souffrir les gens là où une machine peut déjà faire mieux.