Contexto técnico
Empecé a indagar la cifra de 750 tok/s porque esas capturas suelen durar hasta la primera pregunta: ¿en qué hardware corre esto exactamente? Según los datos disponibles, no se trata de que «un LLM normal se haya vuelto más rápido de repente», sino de GPT-5.6 Sol en Cerebras Inference.
Esta diferencia es clave para quienes piensan en integración de IA o en construir automatización de IA para escenarios interactivos. La velocidad aquí no solo la da el modelo, sino la combinación de modelo, hardware y método de inferencia.
Lo que me llamó la atención: 750 tokens por segundo se reclaman para un modelo grande de razonamiento, no para una demo pequeña. En comparación, en las GPU habituales este tipo de cargas suele chocar con límites de memoria y ancho de banda, por lo que las cifras son a menudo varias veces menores.
La idea de Cerebras es precisamente eliminar el cuello de botella de la memoria. Su enfoque WaferScale, con una enorme memoria en el chip y gran ancho de banda, produce ese efecto en el que el modelo no «pasa hambre» entre tokens. De ahí las conversaciones sobre un rendimiento 15 veces superior al de las GPU en ciertos modos.
Sin embargo, no convertiría los 750 tok/s en una nueva referencia universal. Groq a menudo destaca por la baja latencia del primer token y la estabilidad del flujo. En los ASIC personalizados se ven cifras disparatadas de decenas de miles de tok/s, pero a menudo se trata de modelos muy «cocinados» para un escenario concreto, no de cargas de trabajo típicas de LLM.
Así que la noticia es real, pero el contexto lo decide todo: modelo, hardware, tamaño de lote, longitud de contexto, latencia del primer token y tipo de carga. Sin eso, «750» se convierte fácilmente en un meme de marketing.
Impacto en el negocio y la automatización
Aquí es donde realmente me animé: estas velocidades no solo mueven el chat. Transforman los agentes de voz, los escenarios de copiloto en directo y los bucles de agentes, donde el modelo debe pensar y responder casi sin pausa.
¿Quién gana? Aquellos para quienes cada segundo de espera es caro: soporte, ventas, paneles de operador, asistentes en tiempo real. ¿Quién pierde? Los equipos que solo miran el coste por millón de tokens y se olvidan de la arquitectura de latencia.
En la práctica, veo tres efectos: se pueden reducir los búferes de streaming, construir cadenas de varios pasos más agresivas y no matar la experiencia de usuario con esperas. Pero esto solo funciona si toda la arquitectura de IA está bien ensamblada, no se reduce a «conectar la API y adelante».
En Nahornyi AI Lab abordamos precisamente estos retos para los clientes: no solo necesitan acceso al modelo, sino un desarrollo de soluciones de IA adecuado para un flujo de trabajo específico, con selección de inferencia, enrutamiento y economía de respuesta. Si sus procesos se atascan por la latencia, déjeme analizar su escenario y le propondré una automatización de IA sin magia innecesaria y con un valor empresarial claro.