gpt-oss-120B alcanza 3.000 tokens/s en Cerebras

De dónde sale la cifra de 3.000 tokens por segundo

Conviene separar el modelo de la máquina: los cerca de 3.000 tokens/s se anuncian para gpt-oss-120B específicamente sobre infraestructura de Cerebras. Es el resultado de un despliegue concreto, no una velocidad que el modelo vaya a mostrar automáticamente en cualquier servidor. En el momento del anuncio, Cerebras incluía este dato en su documentación de inferencia, también para streaming con el contexto completo de 128k.

OpenAI describe gpt-oss-120B en su publicación de lanzamiento como un modelo MoE de 120.000 millones de parámetros. Tiene 36 capas y 128 expertos en cada capa, aunque para cada token se activan solo cuatro expertos. Esa dispersión reduce el cómputo frente a un modelo denso de tamaño total comparable.

La otra parte de la historia es el hardware. Cerebras atribuye la aceleración a su arquitectura wafer-scale, que evita las limitaciones habituales del ancho de banda de memoria de las GPU y los costes de comunicación entre aceleradores. Ahí es donde la cifra cobra interés: no es solo un checkpoint optimizado, sino un modelo combinado con un stack de inferencia especializado.

Como referencia, resultados independientes citados sitúan la velocidad máxima de gpt-oss-120B en unos 511 tokens/s en un H100 y 849 tokens/s en un H200. La comparación no demuestra superioridad en todos los modos, pero deja clara la dependencia del hardware. También conviene revisar el tiempo hasta el primer token, la longitud de entrada, las solicitudes simultáneas y el rendimiento sostenido, no solo el pico.

Por qué los agentes notarán antes la diferencia

El cambio principal es sencillo: la generación deja de ser la etapa más lenta del ciclo de un agente. Cuando el modelo produce rápidamente un razonamiento o una orden, el agente puede pasar antes a la búsqueda, la ejecución de código o la siguiente llamada a una herramienta. El efecto destaca en cadenas largas, donde una pequeña demora se repite muchas veces.

Esto hace más viables los asistentes interactivos de programación, el análisis rápido de documentos y los flujos de investigación con varios pasos. El contexto largo también se vuelve más práctico: no basta con admitir 128k si el usuario debe esperar la generación tras una entrada extensa.

Aun así, 3.000 tokens/s no responden nada sobre la calidad del razonamiento, el coste de una solicitud o el comportamiento bajo carga. Si aumenta el tiempo hasta el primer token o la competencia entre sesiones, una cifra máxima atractiva pierde rápido su magia. El verdadero hito no es un récord, sino sostener esa velocidad en un flujo real de agentes.

Antes analizamos cómo las configuraciones de Claude Opus 4.6 afectan los costes de contexto y la arquitectura práctica de los modelos. Esa perspectiva ayuda a situar una modelo de 120 mil millones que entrega 3.000 tokens por segundo más allá de la cifra llamativa de velocidad.