Технический контекст
Я покопался в MuScriptor и сразу понял, почему релиз тихо проскочил мимо многих. Это не очередная игрушка для одного фортепиано, а модель для multi-instrument music-to-MIDI, которая ест полный микс и пытается разложить его в отдельные MIDI-дорожки. Для AI integration в музыкальные продукты это уже совсем другой класс задач.
Сделали ее MireloAI вместе с Kyutai Labs. Архитектура тут decoder-only Transformer: на вход идет mel-спектрограмма, на выходе модель генерирует MIDI-подобные токены с нотами, onsets, offsets и инструментами. Подход практичный: не нужно городить сложный пайплайн из нескольких специализированных моделей.
Есть три размера: small примерно на 100M параметров, medium около 300M и large на 1.3B. Small выглядит как вариант для быстрых прогонов и локальных экспериментов, large уже про качество, если вам важнее точность транскрипции, чем задержка.
Меня отдельно зацепил пайплайн обучения. Сначала синтетический прогон на 1.5 млн MIDI-файлов, потом дообучение на 170 тысячах реальных записей, а дальше еще RL-подобный этап. И вот на этом месте обычно рождается разница между академической демкой и моделью, которую реально хочется встраивать в AI solution development для аудиософта.
По бенчмарку заявлен Multi-F1 48.2 против 21.9 у YourMT3+. Цифра выглядит сильно, хотя я бы, как всегда, не влюблялся в один benchmark. Но сам скачок достаточно большой, чтобы модель точно стоило прогнать на своих датасетах, особенно если у вас караоке, обучение музыке или редактор с MIDI-постобработкой.
Есть код, веса на Hugging Face, paper на arXiv и демо. Но важная ложка дегтя: лицензия CC BY-NC 4.0. То есть для коммерческого продакшена в лоб это не подарок, а скорее материал для R&D и проверки гипотез.
Влияние на бизнес и автоматизацию
Если смотреть приземленно, выиграют три типа команд. Первые это разработчики аудиопродуктов, которым нужен быстрый прототип: импорт трека в MIDI, разбор по инструментам, подсветка нот, автоаккомпанемент. Вторые это edtech и караоке-сервисы. Третьи это студии, где ручная транскрипция до сих пор съедает часы.
Проигрывают пока те, кто надеялся просто взять open model и сразу встроить ее в платный продукт. Некоммерческая лицензия резко ограничивает такой сценарий, так что без продуманной AI architecture здесь легко упереться в юридический тупик.
Я бы смотрел на MuScriptor как на очень сильный технический ориентир. Мы в Nahornyi AI Lab как раз решаем такие задачи: где open research можно безопасно превратить в рабочую automation with AI, а где лучше собирать другой стек. Если у вас музыкальный сервис, медиаплатформа или внутренний пайплайн тонет в ручной разметке аудио, можно вместе прикинуть AI automation без лишней магии и с нормальной дорогой в продакшен.