Contexte Technique
J’ai exploré MuScriptor et j’ai tout de suite compris pourquoi ce lancement est passé inaperçu pour beaucoup. Ce n’est pas un simple gadget pour piano solo, mais un modèle de music-to-MIDI multi-instruments qui prend un mixage complet et tente de le décomposer en pistes MIDI séparées. Pour l’intégration de l’IA dans les produits musicaux, c’est une tout autre catégorie de problèmes.
Il a été développé par MireloAI en collaboration avec Kyutai Labs. L’architecture est un Transformer à décodeur seul : l’entrée est un mel-spectrogramme, et le modèle génère des jetons de type MIDI avec des notes, onsets, offsets et instruments. Une approche pratique : pas besoin de construire un pipeline complexe avec plusieurs modèles spécialisés.
Il existe trois tailles : small avec environ 100M de paramètres, medium autour de 300M, et large à 1,3B. Le small semble adapté aux exécutions rapides et aux expérimentations locales, le large privilégie la qualité si la précision de la transcription est plus importante que la latence.
Ce qui m’a particulièrement marqué, c’est le pipeline d’entraînement. D’abord un passage synthétique sur 1,5 million de fichiers MIDI, puis un ajustement fin sur 170 000 enregistrements réels, et ensuite une étape de type RL. C’est à ce moment-là que naît généralement la différence entre une démo académique et un modèle que l’on souhaite vraiment intégrer dans le développement de solutions d’IA pour logiciels audio.
Le benchmark annonce un Multi-F1 de 48,2 contre 21,9 pour YourMT3+. Le chiffre impressionne, même si, comme toujours, je ne me fierais pas à un seul benchmark. Mais le bond est suffisamment important pour qu’il vaille la peine de tester le modèle sur vos propres jeux de données, surtout si vous êtes dans le karaoké, l’éducation musicale ou un éditeur avec post-traitement MIDI.
Le code, les poids sur Hugging Face, un article sur arXiv et une démo. Mais il y a un hic : la licence est CC BY-NC 4.0. Donc pour une production commerciale directe, ce n’est pas un cadeau, mais plutôt du matériel pour la R&D et le test d’hypothèses.
Impact sur les Entreprises et l’Automatisation
Concrètement, trois types d’équipes en tireront profit. D’abord, les développeurs de produits audio ayant besoin de prototypage rapide : importation de pistes en MIDI, séparation par instruments, mise en évidence des notes, accompagnement automatique. Ensuite, les services edtech et de karaoké. Enfin, les studios où la transcription manuelle prend encore des heures.
Ceux qui espéraient simplement prendre un modèle ouvert et l’intégrer directement dans un produit payant y perdent pour le moment. La licence non commerciale limite fortement ce scénario, de sorte que sans une architecture IA bien pensée, on risque vite de se heurter à une impasse juridique.
Je considère MuScriptor comme un repère technique très solide. Chez Nahornyi AI Lab, nous nous attaquons précisément à ces défis : là où la recherche ouverte peut être transformée en automatisation IA fonctionnelle et sécurisée, et là où il vaut mieux assembler une pile différente. Si votre service musical, votre plateforme média ou votre pipeline interne croule sous l’étiquetage manuel de l’audio, nous pouvons ensemble concevoir une automatisation IA sans magie superflue et avec un chemin clair vers la production.