FreeToken startet Qwen3.6-35B-A3B auf einer RTX 4060 mit 8 GB

Wie FreeToken die VRAM-Grenze umgeht

Der wichtigste Punkt ist für mich: FreeToken macht aus GPU, CPU und RAM einen gemeinsamen Rechenpool, um riesige Mixture-of-Experts-Modelle auszuführen, ohne sie vollständig in den Videospeicher pressen zu müssen. So beschreibt FlashML-org die experimentelle Engine im offiziellen FreeToken-Repository und im Beitrag „Efficient Edge-Native MoE Serving with Bandwidth-Adaptive Execution“.

Der Mechanismus ist interessanter als ein gewöhnliches Auslagern von Schichten in den Arbeitsspeicher. Beim Start bewertet die Engine die reale Bandbreite zwischen GPU und CPU sowie die Rechenleistung des Prozessors. Auf dieser Grundlage entscheidet sie, welche Experten auf der GPU bleiben, welche im RAM liegen und welche Aufgaben günstiger auf der CPU laufen, statt sie über PCIe zu bewegen.

Häufig genutzte Experten erhalten schnellen GPU-Zugriff, während seltenere Experten den knappen VRAM nicht dauerhaft belegen. Für MoE ist das ein naheliegender Ansatz: Pro Token wird nur ein Teil der Experten aktiviert, daher muss nicht das gesamte Modell im Videospeicher liegen. Diese Architektureigenschaft wird damit zu einer praktischen Möglichkeit, Modelle auszuführen, die formal deutlich größer als der verfügbare VRAM sind.

Zum Zeitpunkt der Veröffentlichung im August 2026 nannten die Autoren folgende Ergebnisse:

• Qwen3.6-35B-A3B auf einem Laptop mit mobiler RTX 4060 und 8 GB: 39,3 Token/s.
• DeepSeek-V4-Flash 284B auf einer RTX 5090: 22–25 Token/s.
• GLM-5.2 753B auf einer einzelnen RTX PRO 6000: 14,9 Token/s.

Dies sind Werte aus dem Artikel, nicht meine eigenen Messungen. Die Auswertung umfasste drei Modelle, sechs Rechner und vier agentische Szenarien; FreeToken wurde mit llama.cpp, Ollama, KTransformers und MoE-Infinity verglichen. Der Umfang der Prüfung ist aussagekräftig, doch die genannten Geschwindigkeiten lassen sich nicht automatisch auf jeden Prompt, jede Speicherkonfiguration oder jedes Experten-Routing übertragen.

Lokale KI scheitert nicht mehr nur am Videospeicher

Das ist ein echter technischer Wandel: Die VRAM-Größe ist nicht länger die einzige harte Grenze für lokale MoE-Modelle. Das Ergebnis für Qwen3.6-35B-A3B ist besonders aufschlussreich, weil interaktive Geschwindigkeit auf einer Laptop-RTX-4060 mit 8 GB erreicht wird und nicht auf einem Server mit mehreren Grafikkarten.

Der Speicher ist als Einschränkung nicht verschwunden, sondern zu einem verbundenen System geworden. RAM-Kapazität, PCIe-Bandbreite, CPU-Geschwindigkeit und die Verteilung der Aktivität auf Experten sind nun entscheidend. Bei einem ungünstig ausbalancierten Rechner kann der adaptive Scheduler lange vor den attraktiven Tabellenwerten an Datentransfers scheitern.

Ich würde zuerst auf die Latenz bis zum ersten Token, stabile Geschwindigkeit in langen Sitzungen und das Verhalten unter agentischen Lasten achten. Durchschnittliche Token pro Sekunde zeigen Potenzial, offenbaren aber weder Pausen bei Expertenwechseln noch den Druck auf den Systemspeicher.

FreeToken hebt Hardwaregrenzen nicht auf. Es macht etwas Interessanteres: Die GPU wird nicht mehr als einziger Ort betrachtet, an dem lokale Inferenz überhaupt stattfinden kann.

Zuvor haben wir Pony Alpha auf OpenRouter untersucht: kostenlosen Zugang zu einem Modell mit 200K Kontextfenster für Prototyping und Architekturvalidierung. Dieser Fall ergänzt FreeToken und zeigt einen weiteren Weg, große Modelle ohne teure Infrastruktur zu erproben.