YuE2-3B: Open-Weight-KI für die Erzeugung kompletter Songs

Was YuE2-3B tatsächlich eröffnet

Ich würde YuE2-3B nicht nur als Audiogenerator bezeichnen, sondern als Versuch, einen editierbaren Song aus mehreren musikalischen Repräsentationen zusammenzusetzen. Auf der Hugging-Face-Modellkarte von m-a-p wird es als Open-Weight-System der 3B-Klasse beschrieben, das Liedtexte und einen Stil-Prompt annimmt und anschließend eine vollständige Komposition mit Gesang und Begleitung erzeugt.

Der interessanteste Teil ist nicht die reine Text-zu-Song-Funktion, sondern die Steuerung über eine symbolische Partitur. YuE2-3B unterstützt Komposition nach Melodie und Akkorden, Arbeit nur mit der Melodie, direkte Generierung sowie sequenzielle Bearbeitung. Das ähnelt eher einer musikalischen Produktionskette, in der einzelne Entscheidungen geändert werden können, als einer Blackbox mit nur einem Knopf.

In der YuE2-Dokumentation wird die Architektur als AR-NAR Mixture-of-Transformers beschrieben. Zuerst plant das Modell eine Partitur und semantische Tokens, dann erzeugt es per Flow Matching akustische Latents und dekodiert diese schließlich mit einem VAE in Stereo-Audio. Die öffentliche Oberfläche folgt derselben Logik: Planung, semantische Generierung, Synthese und Dekodierung sind getrennte Schritte.

Zum Zeitpunkt der Veröffentlichung der Modellkarte wurde lokale Inferenz für NVIDIA-GPUs mit 24 GB Speicher und BF16-Unterstützung angegeben. Das Repository steht unter CC-BY-NC-4.0. Der Begriff „offen“ braucht daher eine Einordnung: Die Gewichte sind verfügbar, die kommerzielle Nutzung ist jedoch eingeschränkt.

Hinzu kommt ein auffälliges Ergebnis: Mit einer Best-of-8-Auswahl erzielte YuE2 im SongBench einen Durchschnittswert von 6,9632 gegenüber 6,8721 für Suno v5. Diese Zahlen stammen allerdings vom Projektteam selbst und nicht aus einer unabhängigen Prüfung. Sie sollten deshalb nicht als endgültiges Urteil gelten.

Warum eine editierbare Partitur die Lage verändert

Die wesentliche Veränderung besteht darin, dass offene Musikgenerierung eine zwischengeschaltete Steuerungsebene erhält. Entwickler und Forschende können nicht nur mit der fertigen Audiowelle arbeiten, sondern auch mit Melodie, Harmonie und dem semantischen Plan eines Songs. Eine solche Schnittstelle eignet sich besser für Iterationen, automatisierte Agenten und reproduzierbare Experimente.

Architektonische Eleganz macht jedoch noch kein praktisches Musikinstrument. Ich würde zuerst die Stabilität langer Strukturen, die Verständlichkeit des Gesangs, die Genauigkeit beim Befolgen von Akkorden und die Frage prüfen, ob eine lokale Änderung den Rest der Komposition bewahrt. Gerade bei solchen Aufgaben beginnen Generatoren oft unauffällig, alles rund um den veränderten Abschnitt umzuschreiben.

YuE2-3B wirkt nicht wie eine weitere Demo eines kurzen Audioclips, sondern wie ein ernsthafter Ansatz für steuerbare Generation vollständiger Songs. Die zentrale Frage lautet nun nicht mehr, ob das Modell komponieren kann, sondern wie diszipliniert es seine eigene Musik überarbeiten kann.

Zuvor haben wir Seedance 2 untersucht, ein Modell zur Videogenerierung mit nativem Audio und angekündigter 2K-Auflösung. Diese Analyse ergänzt die Diskussion über YuE2-3B und zeigt, wie neue Open-Weight-Modelle für die Mediengenerierung bewertet werden können.