FreeToken beschleunigt lokale LLMs gegenüber Ollama

Was FreeToken konkret beschleunigt

Mich haben hier die angekündigten 3–4× bei der Decode-Geschwindigkeit und 6–30× beim Prefill gegenüber Ollama aufmerksam gemacht. Das FlashML-Team nennt diese Ergebnisse im FreeToken-Paper mit der Kennung arXiv 2608.16157 sowie in der Projektdokumentation. Es sind veröffentlichte Projektbenchmarks zum Zeitpunkt der Publikation und kein unabhängiger Test von mir: Der konkrete Gewinn hängt von Modell, Hardware und Lastprofil ab.

Die zentrale Idee von FreeToken ist nicht einfach ein weiterer schneller Kernel. Das System behandelt CPU, GPU und Arbeitsspeicher als eine gemeinsame elastische Plattform für die Inferenz großer MoE-Modelle, die nicht vollständig in den VRAM passen. Während der Ausführung misst es die Bandbreite der CPU-GPU-Verbindung über PCIe sowie die Verarbeitungsgeschwindigkeit auf der CPU.

Danach entscheidet die Runtime für jeden Experten, was günstiger ist: ihn im GPU-Cache zu halten oder direkt auf der CPU auszuführen. Eine statische Aufteilung verliert hier, weil sich Datenübertragungs- und Rechenkosten zwischen Laptop, Desktop-PC und Workstation stark unterscheiden. Das wirkt bereits wie eine Systemoptimierung und nicht wie eine schöne Zahl aus einem einzigen glücklichen Lauf.

Der zweite Hebel ist semantikbewusstes Caching zwischen Agentenrunden. Wenn Anfragen zusammenhängen und sich schrittweise ändern, verwendet FreeToken nützlichen Zustand erneut, hält gefragte Experten warm und reduziert die wiederholte Verarbeitung des Prompts. Deshalb fällt der Gewinn beim Prefill deutlich größer aus als bei der sequenziellen Token-Generierung.

In der Projektübersicht wird außerdem ein 1,5–2,3× schnelleres Decoding als bei den besten verglichenen Edge-Systemen auf einer RTX 5090 angegeben. Ein anschauliches Szenario führt ein Modell mit 35B Parametern auf einer Laptop-GPU mit 8 GB Speicher aus.

Warum das lokale Inferenz verändert

FreeToken wirkt nicht wie eine kosmetische Beschleunigung, sondern wie ein Versuch, die grundlegende Architektur des lokalen Serving-Stacks zu verbessern. Am meisten profitieren dürften Rechner mit begrenztem VRAM, aber ausreichend Arbeitsspeicher, sowie Agentenszenarien mit langen Folgen zusammenhängender Anfragen.

Ich würde zuerst Kaltstarts, Tail-Latenz, RAM-Druck und das Cache-Verhalten bei einem abrupten Themenwechsel prüfen. Semantische Wiederverwendung funktioniert hervorragend, wenn tatsächlich Wiederholungen vorhanden sind; bei unverbundenen Anfragen wird ihr Beitrag zwangsläufig geringer sein. Ebenso kann das CPU-GPU-Balancing an einer bestimmten PCIe-Verbindung oder einem schwachen Prozessor scheitern.

Aus Engineering-Sicht ist die Idee überzeugend: zuerst die reale Maschine messen und anschließend die Ausführung planen, statt überall dieselbe Aufteilung vorzuschreiben. Die zentrale offene Frage lautet nun nicht mehr, ob FreeToken in veröffentlichten Tests schneller ist, sondern wie stabil dieser Vorteil bei unterschiedlichen Modellen, Hardware und echten Agentensitzungen bleibt.

Zuvor haben wir erläutert, wie vertrauliche Computing-Infrastruktur Kosten der LLM-Inferenz und Datenschutzabwägungen verändern kann. FreeToken ergänzt diese Gleichung um Leistung und steigert den Decoding-Durchsatz durch Anpassung an die Bandbreite zwischen CPU und GPU.