FreeToken ejecuta Qwen3.6-35B-A3B en una RTX 4060 de 8 GB

Cómo FreeToken evita el límite de la VRAM

Para mí, el dato clave es este: FreeToken convierte la GPU, la CPU y la RAM en un pool de cómputo compartido para ejecutar enormes modelos Mixture-of-Experts sin intentar alojarlos por completo en la memoria de vídeo. Así describe FlashML-org este motor experimental en el repositorio oficial de FreeToken y en el artículo “Efficient Edge-Native MoE Serving with Bandwidth-Adaptive Execution”.

El mecanismo es más interesante que la simple descarga de capas a la memoria del sistema. Al iniciarse, el motor mide el ancho de banda real entre GPU y CPU, además de la capacidad de cálculo del procesador. Con esos datos decide qué expertos mantener en la GPU, cuáles guardar en RAM y qué tareas resulta más barato ejecutar en la CPU que mover a través de PCIe.

Los expertos más usados obtienen acceso rápido a la GPU, mientras que los menos frecuentes no ocupan VRAM escasa de forma permanente. En MoE es una decisión natural: en cada token solo se activa una parte de los expertos, así que no es imprescindible guardar el modelo completo en la memoria de vídeo. Esta característica arquitectónica permite ejecutar modelos formalmente mucho mayores que la VRAM disponible.

En la publicación de agosto de 2026, los autores presentaron estos resultados:

• Qwen3.6-35B-A3B en un portátil con RTX 4060 móvil de 8 GB: 39,3 tokens/s.
• DeepSeek-V4-Flash 284B en una RTX 5090: 22–25 tokens/s.
• GLM-5.2 753B en una única RTX PRO 6000: 14,9 tokens/s.

Son cifras del artículo, no mediciones propias. La evaluación abarcó tres modelos, seis equipos y cuatro escenarios agénticos, y comparó FreeToken con llama.cpp, Ollama, KTransformers y MoE-Infinity. El alcance es relevante, pero esas velocidades no se pueden trasladar automáticamente a cualquier prompt, configuración de memoria o patrón de enrutamiento de expertos.

La IA local ya no depende solo de la VRAM

Es un cambio de ingeniería real: la capacidad de VRAM deja de ser la única barrera rígida para los modelos MoE locales. El resultado de Qwen3.6-35B-A3B es especialmente ilustrativo porque consigue velocidad interactiva en una RTX 4060 de portátil con 8 GB, no en un servidor con varias GPU.

La memoria no ha dejado de ser una restricción; simplemente se ha convertido en un sistema compartido. Ahora importan mucho la capacidad de RAM, el ancho de banda de PCIe, la velocidad de la CPU y cómo se distribuye la actividad entre expertos. En una máquina desequilibrada, el planificador adaptativo puede quedar limitado por el intercambio de datos mucho antes de alcanzar las cifras atractivas de una tabla.

Yo miraría primero la latencia hasta el primer token, la velocidad sostenida en sesiones largas y el comportamiento bajo cargas agénticas. La media de tokens por segundo muestra potencial, pero no revela las pausas al cambiar de experto ni la presión sobre la memoria del sistema.

FreeToken no elimina las limitaciones del hardware. Hace algo más interesante: deja de considerar la GPU como el único lugar donde puede vivir la inferencia local.

Antes analizamos Pony Alpha en OpenRouter: acceso gratuito a un modelo con una ventana de contexto de 200K para crear prototipos y validar arquitecturas. Este caso complementa FreeToken al mostrar otra vía para experimentar con modelos grandes sin infraestructura costosa.