Technischer Kontext
Ich liebe genau solche Aufgaben, bei denen die herkömmliche Diarisierung in der ersten Minute versagt. Wenn in einem Kanal nicht nacheinander gesprochen wird, sondern eine Kakophonie wie in einer Bar beginnt, ist das nicht mehr nur eine einfache Sprecherdiarisierung (speaker diarization), sondern das bekannte Cocktailparty-Problem. Für eine saubere KI-Integration in ein Produkt reicht es nicht aus, einfach Whisper anzuschließen und auf ein Wunder zu hoffen.
Ich würde die Werkzeuge sofort in zwei Klassen einteilen. Die erste Klasse versucht wirklich zu verstehen, wer wann spricht, auch wenn sich Stimmen überschneiden. Die zweite Klasse trennt zuerst das Audio nach Quellen, und erst dann geben Sie das Ergebnis an eine ASR oder Ihre KI-Automatisierungskette (AI automation) weiter.
Aus der ersten Klasse würde ich mir EEND ansehen, also End-to-End Neural Diarization. Das ist nicht die alte Pipeline aus VAD, Embeddings, Clustering und Beten. Das Modell lernt direkt, mit unbekannten Sprechern, Überlappungen und Online-Verarbeitung umzugehen, und ESPnet hat dafür bereits funktionierende Rezepte und Streaming-Szenarien.
An dieser Stelle würde ich wirklich haltmachen und keine Woche mit exotischen Alternativen verschwenden. Wenn Sie Echtzeit benötigen und keine vorab bekannten Sprecher-Embeddings haben, sind EEND und ESPnet derzeit die vernünftigste Richtung.
SAM Audio von Meta ist interessant. Ich habe mir seine Logik angesehen, und es ist speziell als Schicht zur Quellentrennung (source separation) hervorragend. Es kann Töne anhand von Hinweisen aus einem Durcheinander extrahieren, ist aber keine native Diarisierung oder ein System, das Ihnen sauber Zeitstempel für unbekannte Personen in einem Live-Gespräch liefert.
Der sepformer-wham von SpeechBrain ist ebenfalls nützlich, aber ehrlich gesagt geht es dabei mehr um die Trennung als um eine Komplettlösung. Ich würde ihn als Vorverarbeitungsschritt vor der ASR oder Diarisierung verwenden, wenn die Stimmüberlappung besonders stark ist.
Die Idee, ein LLM ein fertiges Transkript nach dem Sinn kennzeichnen zu lassen, klingt verlockend, und ich habe solche Setups selbst getestet. Das ist jedoch Nachbearbeitung, nicht Echtzeit, und bei lauten Überlappungen wird es eher die Dialogstruktur korrigieren, als einen zerstörten Audiostream zu retten.
Was das für Unternehmen und Automatisierung bedeutet
In der Praxis werden diejenigen gewinnen, die Anrufe, Besprechungen, Leitstellen, Interviews und Support mit mehreren gleichzeitigen Sprechern haben. Dort ist Genauigkeit nicht nur eine schöne Metrik – sie entscheidet, ob Ihre Gesprächsanalyse, CRM-Logik und die nachfolgende Automatisierung mit KI (automation with AI) scheitern.
Verlieren werden Teams, die ein Produkt nur auf ASR ohne Trennung oder überlappungsbewusste Diarisierung (overlap-aware diarization) aufbauen. Ein Fehler darin, wer was gesagt hat, schadet später Zusammenfassungen, der Suche in Anrufen und jedem KI-Agenten (AI agent), der kontextbezogen handeln muss.
Ich würde den Stack so aufbauen: überlappungsbewusste Diarisierung über EEND oder ESPnet, bei Bedarf Trennung durch SAM Audio oder SepFormer und erst dann ASR plus eine LLM-Schicht zur Strukturkorrektur. Wir bei Nahornyi AI Lab nehmen genau solche Engpässe von Hand auseinander: Wenn Ihre Audio-Pipeline bei Überlappungen den Sinn verliert, können wir eine KI-Lösungsentwicklung (AI solution development) für Ihren spezifischen Workflow erstellen, nicht für ein durchschnittliches Demo-Szenario.