Технічний контекст
Я заглибився в MuScriptor і одразу зрозумів, чому реліз тихо пройшов повз багатьох. Це не чергова іграшка для одного фортепіано, а модель для мультиінструментальної music-to-MIDI, яка сприймає повний мікс і намагається розкласти його на окремі MIDI-доріжки. Для AI integration в музичні продукти це вже зовсім інший клас задач.
Її створили MireloAI спільно з Kyutai Labs. Архітектура — decoder-only Transformer: на вхід подається мел-спектрограма, на виході модель генерує MIDI-подібні токени з нотами, onsets, offsets та інструментами. Практичний підхід: не потрібно будувати складний пайплайн із кількох спеціалізованих моделей.
Є три розміри: small близько 100M параметрів, medium приблизно 300M і large на 1.3B. Small виглядає як варіант для швидких прогонів і локальних експериментів, large — про якість, якщо точність транскрипції важливіша за затримку.
Мене особливо зацікавив тренувальний пайплайн. Спочатку синтетичний прогін на 1,5 млн MIDI-файлів, потім донавчання на 170 тисячах реальних записів, а далі ще RL-подібний етап. І саме на цьому місці зазвичай з'являється різниця між академічним демо і моделлю, яку справді хочеться вбудовувати в AI solution development для аудіософту.
За бенчмарком заявлено Multi-F1 48.2 проти 21.9 у YourMT3+. Цифра виглядає переконливо, хоча я, як завжди, не став би закохуватися в один benchmark. Але стрибок досить великий, щоб модель точно варто було прогнати на своїх датасетах, особливо якщо у вас караоке, навчання музики чи редактор із MIDI-постобробкою.
Є код, ваги на Hugging Face, paper на arXiv і демо. Але важлива ложка дьогтю: ліцензія CC BY-NC 4.0. Тобто для комерційного продакшена безпосередньо це не подарунок, а скоріше матеріал для R&D та перевірки гіпотез.
Вплив на бізнес і автоматизацію
Якщо дивитися приземлено, виграють три типи команд. Перші — розробники аудіопродуктів, яким потрібен швидкий прототип: імпорт треку в MIDI, розбір по інструментах, підсвічування нот, автоакомпанемент. Другі — edtech і караоке-сервіси. Треті — студії, де ручна транскрипція досі з'їдає години.
Програють поки ті, хто сподівався просто взяти open model і одразу вбудувати її в платний продукт. Некомерційна ліцензія різко обмежує такий сценарій, тож без продуманої AI architecture тут легко впертися в юридичний глухий кут.
Я б дивився на MuScriptor як на дуже сильний технічний орієнтир. Ми в Nahornyi AI Lab якраз вирішуємо такі завдання: де open research можна безпечно перетворити на робочу automation with AI, а де краще збирати інший стек. Якщо ваш музичний сервіс, медіаплатформа чи внутрішній пайплайн тоне в ручній розмітці аудіо, можна разом прикинути AI automation без зайвої магії та з нормальною дорогою в продакшен.