Contexto técnico
Vi el anuncio de Google e inmediatamente noté lo principal: ya no venden la idea de un único chip universal. La octava generación de TPU se divide desde el principio en TPU v8t para entrenamiento y TPU v8i para inferencia. Para quienes se dedican a la implementación de IA y construyen pipelines agénticos, esta es una bifurcación muy sensata.
El TPU v8t está diseñado para entrenamientos a gran escala. Google presume de un superpod de hasta 9600 chips, 121 ExaFLOPS en FP4 nativo y 2 PB de memoria HBM total. Además, tiene el doble de ancho de banda entre chips que la generación anterior y un scale-up de 19,2 Tbps, lo que significa que no solo apuntan al cómputo, sino también al viejo problema del cuello de botella en el intercambio de datos.
El TPU v8i me pareció aún más interesante. Cuenta con 288 GB de HBM, 384 MB de SRAM en el chip, un motor de aceleración de colectivos dedicado y promete una latencia hasta 5 veces menor en operaciones globales. Para los sistemas agénticos, donde un modelo no solo responde, sino que realiza varios pasos de razonamiento, utiliza herramientas y mantiene el contexto, esto ya no es un truco de marketing, sino una característica muy práctica.
Otro punto importante: Google está construyendo claramente una arquitectura de IA integrada verticalmente en torno a sus CPU Axion Arm, NUMA, la topología de red Boardfly y su propia infraestructura en la nube. El TPU v8i escala hasta 1152 chips, y el v8t hasta 9600, y toda la historia parece un intento de derribar dos muros a la vez: el entrenamiento caro y la inferencia lenta. La cifra de '80% mejor rendimiento por dólar' suena agresiva, pero sin una lista de precios abierta, por ahora lo tomaría como una guía en lugar de la economía final del proyecto.
¿Qué cambia esto para las empresas y la automatización?
Dejando de lado la fanfarria, los ganadores son quienes construyen sistemas multimodales pesados e inferencia agéntica en Google Cloud. Especialmente donde lo importante no es una única demostración vistosa, sino una automatización estable con IA bajo carga: soporte, análisis, orquestación de procesos internos y copilotos con herramientas.
Los perdedores son los equipos que desean la máxima portabilidad entre nubes y el stack de NVIDIA/CUDA. Aquí la integración es fuerte, pero el precio es evidente: una fuerte dependencia de GCP.
En la práctica, esto empuja las decisiones de arquitectura hacia la separación de responsabilidades: por un lado, el entrenamiento; por otro, el servicio de baja latencia. En Nahornyi AI Lab, abordamos precisamente estos cuellos de botella para nuestros clientes: dónde nos topamos con límites de latencia, dónde el costo por paso del agente es demasiado alto, dónde la memoria es el problema o dónde el problema no es el modelo en absoluto, sino una configuración defectuosa a su alrededor.
Si su agente ya tarda más en 'pensar' de lo que un empleado tarda en hacer la tarea manualmente, es un buen momento para reconstruir el sistema. En Nahornyi AI Lab, ayudo a implementar la automatización con IA sin 'romanticismos de hardware': analizo su flujo de trabajo, calculo la economía y construyo una arquitectura que realmente funciona en producción.