Технічний контекст
Я люблю такі проєкти не за хайп, а за архітектуру. Тут справді зібрали ланцюжок: камера → Claude 3.5 Sonnet → JSON з рухом → EMS-імпульси → фізична дія. І це вже не просто чатик, а дуже практична AI-автоматизація на стику комп'ютерного зору та актуаторів.
Прототип зробили за 48 годин ще в жовтні 2025 року, тому зараз я дивлюся на нього вже як на перевірений референс, а не як на свіжу новину. Джерело надійне: допис Ендріта Рестеліки в LinkedIn, відео на YouTube та відкритий GitHub-репозиторій з усім пайплайном.
Я заглибився в специфікації, і найцікавіше тут не рекорд у Beat Saber, а те, що схема взагалі працює на доступному залізі. Вхід іде з вебкамери 1080p/60fps, обчислення виконуються на Raspberry Pi 5, Claude отримує кадри й повертає структуру на кшталт target_pose, muscle_groups та intensity, а далі Python та Arduino перетворюють це на EMS-імпульси.
Заявлена затримка — близько 142 мс на ланцюжок від кадру до м'яза. Для тонкої моторики це ще грубувато, але для ритмічних, передбачуваних рухів уже достатньо, щоб система виглядала не як фокус, а як робочий контур керування.
Обмеження теж чесні: втома м'язів після 20-28 хвилин, безпека лише з обмеженням струму, жодного нормального сенсорного зворотного зв'язку. І так, Anthropic не позиціонує це як медичне застосування, тож я б одразу відокремлював дослідницький прототип від продукту.
Що це змінює для бізнесу та автоматизації
Я бачу тут не ринок «AI грає у VR за вас», а значно корисніший вектор: інтеграція штучного інтелекту стає все ближчою до фізичних операцій. Не просто аналізувати відео, а й одразу запускати дію: екзоскелет, реабілітація, промислові маніпулятори, навчання моторних патернів.
Виграють команди, які вміють збирати повний контур: зір, модель, безпечний контролер, телеметрію та аварійне відключення. Програють ті, хто думає, що достатньо просто прикрутити LLM до залізяки й назвати це продуктом.
У клієнтських завданнях я постійно впираюся в ту саму реальність: найскладніше — не модель, а надійна AI-архітектура між софтом та фізичним світом. У Nahornyi AI Lab ми якраз вирішуємо такі вузькі місця, коли потрібна не демка, а чітка розробка AI-рішення під процес, ризики та реальні обмеження.
Якщо у вас назріло завдання, де потрібно зв'язати комп'ютерний зір, сигнали та дію в одному контурі, давайте подивимося на нього без магії. Іноді вистачає акуратної AI-інтеграції, щоб прибрати ручні операції, прискорити цикл і не мучити людей там, де машина вже впорається краще.