LLM en ESP32-S3 por $8: el truco de memoria
edge-aiesp32llm
Qué se ejecutó realmente en el ESP32-S3
El hecho principal aquí no son los $8 de meme, sino que un modelo de lenguaje de 28,9M parámetros se describe como completamente local en el ESP32-S3. El repositorio slvDev/esp32-ai en GitHub afirma alrededor de 9,5 tokens por segundo end-to-end y 9,7 tokens por segundo para cómputo puro.
El hardware tampoco es abstracto: se especifica un ESP32-S3 N16R8 con 16MB de flash, 8MB de PSRAM y 512KB de SRAM. Para un microcontrolador, sigue siendo una caja muy ajustada, por lo que el enfoque habitual de cargar todo el modelo en memoria rápida no habría funcionado aquí.
El truco se llama Per-Layer Embeddings, PLE. Básicamente, alrededor de 25 millones de los 28,9M parámetros residen en flash como una gran tabla de búsqueda, mientras que el núcleo de cómputo, las activaciones y las estructuras temporales permanecen en SRAM y PSRAM. No es magia, sino un intercambio cuidadoso: más accesos a memoria lenta, pero el modelo cabe por completo.
Lo que me gusta de esta historia es precisamente la tosquedad ingenieril de la solución. No intentaron fingir que el ESP32 se convirtió de repente en un pequeño servidor. En cambio, la arquitectura se adaptó a la jerarquía real de memoria del microcontrolador: flash para la masa de parámetros, PSRAM para búferes, SRAM para el camino más caliente.
Hay una advertencia importante: el modelo está entrenado en TinyStories. Es decir, genera historias cortas y simples, no responde preguntas factuales, no sigue instrucciones ni es un asistente conversacional universal.
Por qué esto cambia la IA de borde, pero sin fantasías
Este es un paso real para la IA local en IoT, pero no reemplaza a los grandes LLM. Al 30 de julio de 2026, leo este proyecto como una demostración de memoria y arquitectura, no como la aparición de un asistente inteligente en cada sensor.
El beneficio práctico es claro: el dispositivo puede generar texto sin la nube, sin latencia de red y sin enviar datos al exterior. Para pequeñas interfaces narrativas, juguetes, demostraciones offline y escenarios edge privados, esto ya es suficiente si el dominio es estrecho.
Dónde empezará a fallar también se ve de inmediato. Los accesos a flash, el contexto limitado, el entrenamiento estrecho en TinyStories y la débil capacidad general de seguir instrucciones chocarán pronto con un techo. Yo miraría primero no los tokens por segundo, sino la calidad de la degradación fuera del dominio de entrenamiento.
Pero el hecho en sí es incómodo para la vieja intuición: LLM ya no significa necesariamente nube, GPU y una placa voluminosa. A veces es una tabla de búsqueda en flash y un pequeño núcleo que hace exactamente tanta inteligencia como permite la física de la memoria.