Technischer Kontext
Ich habe mich mit einer praktischen Frage in die Spezifikationen von gpt-realtime-2 vertieft: Kann man damit endlich eine echte KI-Automatisierung für Anrufe, Support und Sprachassistenten entwickeln, anstatt nur einen weiteren hübschen Prototypen? Die kurze Antwort lautet: Ja, das ist jetzt möglich. OpenAI hat die Latenz so weit reduziert, dass ein Dialog nicht mehr auseinanderfällt.
Das Modell akzeptiert Text, Audio und Bilder und gibt Text und Sprache aus. Die Verbindung erfolgt über WebRTC, WebSocket oder SIP, sodass Browser, Server und Telefonie ohne große Umstände abgedeckt sind. Der Kontext beträgt 32k, die maximale Antwortlänge 4096 Token, und der Wissensstand ist Oktober 2023.
Was mich wirklich beeindruckt hat: Es ist nicht einfach nur STT plus LLM plus TTS, die aus drei Diensten zusammengefügt wurden. Hier läuft der Speech-to-Speech-Stream in einer einzigen Echtzeitschleife mit korrekter Unterbrechungsbehandlung. Das ist für ein Live-Gespräch entscheidend: Wenn eine Person dazwischenspricht, friert das Modell nicht ein und wartet wie ein Anrufbeantworter aus dem Jahr 2014 auf das Ende des Satzes.
In Zahlen gibt OpenAI eine Verbesserung von 48 % bei der Befolgung von Anweisungen und 34 % beim Aufruf von Tools im Vergleich zur Vorschau an. Für die Produktion empfehlen sie ausdrücklich `reasoning.effort: low`, was logisch ist: Bei Sprache schaden ein paar hundert Millisekunden mehr als ein etwas weniger tiefgründiges Nachdenken.
Unter den nützlichen Funktionen für den Systembau habe ich MCP-Tools, Bildeingabe, separate Echtzeit-Szenarien für Übersetzung und Streaming-Transkription sowie `session.update` für die automatische Tool-Anbindung vermerkt. Auch der Preis ist vernünftiger geworden: 4 $ pro Million Input-Token und 16 $ pro Million Output-Token, etwa 20 % günstiger als in der Vorschau.
Aber sehen wir das Ganze ohne rosarote Brille. Die Stimmen sind noch begrenzt, und es gibt keine benutzerdefinierten Stimmprofile oder SSML. Für spezifische Marken, Akzente oder eine lokalisierte Ausgabe würde ich daher immer noch eine externe TTS-Kette in Betracht ziehen.
Was ändert das für Unternehmen und die Automatisierung?
Der erste klare Gewinner ist der Sprachsupport. Während die Implementierung künstlicher Intelligenz in der Telefonie früher oft an Latenz und schlechter Unterbrechungsbehandlung scheiterte, kann man jetzt einen Agenten erstellen, der zwar nicht perfekt menschlich klingt, den Benutzer aber nicht mehr nach dem zweiten Satz zur Weißglut treibt.
Der zweite Anwendungsfall sind Echtzeit-Schnittstellen in Anwendungen: Terminvereinbarung, Disposition und interne Sprachassistenten für Teams. Die Architektur wird vereinfacht, da es weniger separate Knoten, weniger Synchronisation zwischen STT, LLM und TTS und weniger Stellen gibt, an denen nachts alles ausfallen kann.
Die Verlierer in dieser Geschichte sind diejenigen, die ihr Produkt auf der alten Kaskadenarchitektur aufgebaut und diese als einzige Option angesehen haben. Sie wird nicht verschwinden, muss aber jetzt durch Anpassungsfähigkeit gerechtfertigt werden und nicht nur durch ihre bloße Existenz.
Trotzdem würde ich dies nicht ohne gründliche Tests auf Rauschen, Unterbrechungen, Minutenkosten und reale Telefonie in die Produktion überführen. Bei Nahornyi AI Lab entwickeln wir genau das für unsere Kunden: Wir schrauben nicht nur eine API an, sondern verfeinern die KI-Integration so lange, bis das System Zeit spart, anstatt eine neue Chaosebene zu schaffen. Wenn Ihre Sprachprozesse Ihr Team bereits ausbremsen, lassen Sie uns sehen, wie wir hier eine funktionierende KI-Lösung ohne unnötige Magie entwickeln können.