Contexto técnico
Me sumergí en las especificaciones de gpt-realtime-2 con una pregunta práctica: ¿se puede usar esto para crear una automatización de IA real para llamadas, soporte y asistentes de voz, en lugar de otro prototipo bonito? La respuesta corta es sí, se puede. Este es el momento en que OpenAI ha reducido la latencia a un nivel en el que el diálogo ya no se desmorona.
El modelo acepta texto, audio e imágenes, y devuelve texto y voz. La conexión se realiza a través de WebRTC, WebSocket o SIP, lo que significa que el navegador, el servidor y la telefonía están cubiertos sin acrobacias. El contexto es de 32k, con una respuesta máxima de 4096 tokens, y su fecha de corte de conocimiento es octubre de 2023.
Lo que realmente me gustó es que no es simplemente STT más LLM más TTS pegados de tres servicios. Aquí, el flujo de voz a voz se ejecuta en un único bucle de tiempo real, con un manejo adecuado de las interrupciones. Para una conversación en vivo, esto es crucial: si una persona interrumpe, el modelo no se congela esperando el final de la frase como un contestador de 2014.
En cifras, OpenAI afirma una mejora del 48% en el seguimiento de instrucciones y del 34% en el uso de herramientas en comparación con la versión preliminar. Para producción, recomiendan explícitamente `reasoning.effort: low`, lo cual es lógico: en la voz, unos cientos de milisegundos adicionales duelen más que un razonamiento un poco menos profundo.
Entre las funciones útiles para construir sistemas, destaqué las herramientas MCP, la entrada de imágenes, escenarios de tiempo real separados para traducción y transcripción en streaming, además de `session.update` para la conexión automática de herramientas. El precio también es más razonable: 4$ por millón de tokens de entrada y 16$ por millón de salida, aproximadamente un 20% más barato que la versión preliminar.
Pero sin idealismos. Las voces aún son limitadas, y no hay perfiles de voz personalizados ni SSML. Por lo tanto, para marcas específicas, acentos o una presentación localizada, todavía consideraría una cadena de TTS externa.
¿Qué cambia esto para las empresas y la automatización?
El primer ganador claro es el soporte por voz. Si antes la implementación de inteligencia artificial en telefonía a menudo fallaba por la latencia y el mal manejo de interrupciones, ahora se puede crear un agente que, aunque no suene perfectamente humano, ya no irrita a los usuarios después de la segunda frase.
El segundo caso de uso son las interfaces en tiempo real en aplicaciones: agendar citas, gestionar despachos y asistentes de voz internos para equipos. La arquitectura se simplifica porque hay menos nodos separados, menos sincronización entre STT, LLM y TTS, y menos puntos donde todo puede fallar durante la noche.
Los perdedores en esta historia son aquellos que construyeron su producto en torno a la antigua arquitectura en cascada, viéndola como la única opción. No desaparecerá, pero ahora tendrá que justificarse por su personalización, no solo por su existencia.
Aun así, no lo llevaría a producción sin pruebas adecuadas de ruido, interrupciones, costes por minuto y telefonía real. En Nahornyi AI Lab, esto es precisamente lo que hacemos para los clientes: no nos limitamos a conectar una API, sino que refinamos la integración de IA hasta que el sistema ahorra tiempo en lugar de crear una nueva capa de caos. Si sus procesos de voz ya están ralentizando a su equipo, veamos cómo podemos desarrollar una solución de IA funcional aquí sin magia innecesaria.