Contexte technique
Je me suis plongé dans les spécifications de gpt-realtime-2 avec une question pratique : peut-on enfin l'utiliser pour créer une véritable automatisation par IA pour les appels, le support et les assistants vocaux, et non un énième joli prototype ? La réponse courte est oui. C'est le moment où OpenAI a réussi à réduire la latence à un niveau où le dialogue ne s'effondre plus.
Le modèle accepte du texte, de l'audio et des images, et produit du texte et de la voix. La connexion se fait via WebRTC, WebSocket ou SIP, ce qui signifie que le navigateur, le serveur et la téléphonie sont couverts sans acrobaties. Le contexte est de 32k, avec une réponse maximale de 4096 tokens, et sa connaissance s'arrête en octobre 2023.
Ce qui m'a vraiment plu, c'est que ce n'est pas simplement un STT plus un LLM plus un TTS assemblés à partir de trois services. Ici, le flux de parole à parole (speech-to-speech) fonctionne dans une seule boucle temps réel, avec une gestion correcte des interruptions. C'est essentiel pour une conversation en direct : quand une personne intervient, le modèle ne se fige pas en attendant la fin de la phrase comme un répondeur de 2014.
En chiffres, OpenAI annonce une amélioration de 48 % dans le suivi des instructions et de 34 % dans l'appel d'outils par rapport à la préversion. Pour la production, ils recommandent explicitement `reasoning.effort: low`, ce qui est logique : en vocal, quelques centaines de millisecondes supplémentaires sont plus pénalisantes qu'un raisonnement légèrement moins approfondi.
Parmi les fonctionnalités utiles pour construire des systèmes, j'ai noté les outils MCP, l'entrée d'images, des scénarios temps réel distincts pour la traduction et la transcription en streaming, ainsi que `session.update` pour la connexion automatique d'outils. Le prix est également devenu plus raisonnable : 4 $ par million de tokens d'entrée et 16 $ par million de sortie, soit environ 20 % de moins que la préversion.
Mais ne soyons pas naïfs. Les voix sont encore limitées, et il n'y a pas de profils vocaux personnalisés ni de SSML. Donc, pour des marques spécifiques, des accents ou une diffusion localisée, je considérerais toujours une chaîne TTS externe.
Qu'est-ce que cela change pour les entreprises et l'automatisation ?
Le premier grand gagnant est le support vocal. Alors qu'auparavant, l'implémentation de l'intelligence artificielle en téléphonie échouait souvent à cause de la latence et de la mauvaise gestion des interruptions, il est maintenant possible de créer un agent qui, sans être parfaitement humain, n'exaspère plus les utilisateurs dès la deuxième phrase.
Le deuxième cas d'usage concerne les interfaces en temps réel dans les applications : prise de rendez-vous, dispatching, assistants vocaux internes pour les équipes. L'architecture est simplifiée car il y a moins de nœuds distincts, moins de synchronisation entre STT, LLM et TTS, et moins de points de défaillance susceptibles de planter la nuit.
Les perdants dans cette histoire sont ceux qui ont bâti leur produit autour de l'ancienne architecture en cascade, la considérant comme la seule option. Elle ne disparaîtra pas, mais devra désormais être justifiée par la personnalisation, et non par sa simple existence.
Cependant, je ne mettrais pas cela en production sans des tests approfondis sur le bruit, les interruptions, les coûts à la minute et la téléphonie réelle. Chez Nahornyi AI Lab, c'est précisément ce que nous faisons pour nos clients : nous ne nous contentons pas de brancher une API, nous affinons l'intégration de l'IA jusqu'à ce que le système fasse gagner du temps au lieu de créer une nouvelle couche de chaos. Si vos processus vocaux ralentissent déjà votre équipe, voyons comment nous pouvons développer une solution d'IA fonctionnelle ici, sans magie superflue.