LLM auf ESP32-S3 für 8 $: Der Speichertrick

Was wirklich auf dem ESP32-S3 ausgeführt wurde

Die Hauptsache hier sind nicht die meme-verdächtigen 8 $, sondern dass ein 28,9M-Parameter-Sprachmodell als vollständig lokal auf dem ESP32-S3 beschrieben wird. Das Repository slvDev/esp32-ai auf GitHub gibt etwa 9,5 Token pro Sekunde Ende-zu-Ende und 9,7 Token pro Sekunde für reine Berechnung an.

Auch die Hardware ist nicht abstrakt: Ein ESP32-S3 N16R8 mit 16 MB Flash, 8 MB PSRAM und 512 KB SRAM wird angegeben. Für einen Mikrocontroller ist das immer noch eine sehr enge Kiste, daher wäre der übliche Ansatz, das gesamte Modell in den schnellen Speicher zu laden, hier nicht aufgegangen.

Der Trick heißt Per-Layer Embeddings, PLE. Im Wesentlichen liegen etwa 25 Millionen der 28,9M Parameter im Flash als große Nachschlagetabelle, während Rechenkern, Aktivierungen und temporäre Strukturen in SRAM und PSRAM verbleiben. Es ist keine Magie, sondern ein sorgfältiger Austausch: mehr Zugriffe auf langsamen Speicher, dafür passt das Modell überhaupt.

Mir gefällt an dieser Geschichte gerade die ingenieurmäßige Rauheit der Lösung. Man hat nicht versucht, so zu tun, als wäre der ESP32 plötzlich ein kleiner Server geworden. Stattdessen wurde die Architektur an die reale Speicherhierarchie des Mikrocontrollers angepasst: Flash für die Masse der Parameter, PSRAM für Puffer, SRAM für den heißesten Pfad.

Es gibt eine wichtige Einschränkung: Das Modell wurde auf TinyStories trainiert. Das heißt, es generiert kurze, einfache Geschichten – keine faktische QA, kein Befolgen von Anweisungen und kein universeller Dialogassistent.

Warum dies Edge-KI verändert, aber ohne Fantasien

Dies ist ein echter Schritt für lokale KI im IoT, aber kein Ersatz für große LLMs. Mit Stand vom 30. Juli 2026 lese ich dieses Projekt als Demonstration von Speicher und Architektur, nicht als das Aufkommen eines intelligenten Assistenten in jedem Sensor.

Der praktische Nutzen liegt auf der Hand: Das Gerät kann Text ohne Cloud, ohne Netzwerklatenz und ohne Daten nach außen zu senden, generieren. Für kleine narrative Schnittstellen, Spielzeuge, Offline-Demos und private Edge-Szenarien reicht das bereits aus, wenn die Domäne eng ist.

Wo es anfangen wird zu brechen, ist ebenfalls sofort sichtbar. Flash-Zugriffe, begrenzter Kontext, enges Training auf TinyStories und schwache allgemeine Fähigkeit, Anweisungen zu befolgen, werden schnell an eine Decke stoßen. Ich würde zuerst nicht auf Token pro Sekunde schauen, sondern auf die Qualität der Degradation außerhalb der Trainingsdomäne.

Aber die Tatsache an sich ist unbequem für die alte Intuition: LLM bedeutet nicht mehr unbedingt Cloud, GPU und eine dicke Platine. Manchmal ist es eine Nachschlagetabelle im Flash und ein kleiner Kern, der genau so viel Intelligenz leistet, wie es die Physik des Speichers erlaubt.

Wir haben bereits untersucht, wie KI-Demos auf dem Raspberry Pi oft Mythen bleiben, weil eine durchdachte Architektur fehlt. Dieser Fall mit einem 8-Dollar-Mikrocontroller zeigt, dass mit dem richtigen Ansatz selbst mit minimaler Hardware echte Ergebnisse erzielt werden können.