Skip to main content
AI hardwarememory hierarchyAI infrastructure

Reinventan la memoria para los aceleradores de IA

IA no convencional propone no buscar una memoria universal para IA, sino montar un stack heterogéneo para distintas tareas del modelo. Para las empresas, esto importa por la reducción futura del costo de inferencia, nuevas soluciones de arquitectura IA y una ventana de oportunidad para entrar en infraestructura IA.

Contexto técnico

He leído con atención el artículo de Unconventional AI, y su tesis no es decorativa, sino muy práctica: basta de buscar una memoria única y perfecta para todo. Para una implementación real de IA, esto es relevante porque la inferencia y el entrenamiento llevan tiempo topándose no solo con las matemáticas, sino con el coste del movimiento de datos.

Los autores proponen “suavizar el triángulo” de velocidad, densidad y retención de datos. No llevar cada celda a un estado casi libre de errores, como en la escuela de computación clásica, sino aceptar que las cargas de IA toleran compromisos más flexibles.

Yo desglosaría su idea en dos memorias distintas. La primera, para los pesos del modelo: aquí importan la densidad y la retención, porque los pesos apenas se reescriben durante la inferencia. La segunda, para el estado de trabajo y la caché KV: aquí se necesita una memoria muy rápida cerca del cálculo, aunque la retención sea más corta y la arquitectura tenga que compensarlo.

Aquí empieza lo más interesante. Como candidatos promueven las celdas de ganancia, eDRAM, PCM y el apilado 3D de HBM sobre lógica. No como “un único ganador”, sino como un conjunto de tecnologías en una misma pila, donde cada una cubre su propia clase de datos.

Me gustó especialmente el énfasis en la localidad. Si la lectura desde la memoria externa consume una parte notable de la energía del acelerador, entonces la conversación ya no es sobre circuitos bonitos, sino sobre el coste por token. Y sí, la idea de mantener el máximo del modelo y el estado en el chip o lo más cerca posible no parece una fantasía, sino el siguiente paso obligatorio.

El artículo es reciente, julio de 2026, así que no es una retrospectiva, sino una señal muy actual hacia la próxima generación de infraestructura de IA.

Qué cambia esto para los negocios y la automatización

Veo aquí tres consecuencias directas. Primero: ganarán quienes construyan hardware y servicios orientados a la inferencia, donde importa el coste por respuesta y no solo el pico de benchmark. Segundo: HBM deja de ser la única respuesta sagrada, lo que abrirá un mercado para configuraciones más baratas y especializadas.

Perderán quienes sigan diseñando arquitectura de IA con la vieja lógica de “todo universal, todo muy fiable, luego ya nos ocuparemos de la energía”. Con ese enfoque, la automatización con IA chocará pronto con los costes, sobre todo en contextos largos y grandes volúmenes de solicitudes.

Constantemente veo en los clientes el mismo problema: todos hablan del modelo, pero subestiman la memoria, la red y el coste de cada paso del pipeline. Y ahí es donde se decide si la automatización con IA funcionará en producción o se quedará en una demo cara.

Si ya estás calculando cómo abaratar la inferencia, empaquetar un entorno privado o diseñar una integración de IA sin sobrecostes de hardware, este es el momento justo para reconstruir la arquitectura desde cero. En Nahornyi AI Lab ayudamos con eso: no hacemos esquemas bonitos por hacer, sino que construimos soluciones de IA reales para empresas con restricciones reales de precio, velocidad y escala.

Previamente, analizamos en detalle Rust LocalGPT, un asistente local autónomo con memoria persistente y API HTTP. Su enfoque para almacenar y usar el contexto está directamente relacionado con cómo replanteamos la arquitectura de memoria para sistemas de IA no convencionales.

Compartir este articulo