FreeToken прискорює локальні LLM порівняно з Ollama

Що саме прискорює FreeToken

Мене тут зацікавили заявлені 3–4× за швидкістю decode і 6–30× за prefill порівняно з Ollama. Команда FlashML наводить ці результати в статті FreeToken з ідентифікатором arXiv 2608.16157 та в документації проєкту. Це заявлені бенчмарки на момент публікації, а не мій незалежний тест: конкретний виграш залежить від моделі, обладнання та характеру навантаження.

Головна ідея FreeToken не в черговому швидкому ядрі. Система розглядає CPU, GPU й оперативну пам'ять як єдину еластичну платформу для інференсу великих MoE-моделей, які повністю не вміщуються у VRAM. Під час роботи вона вимірює пропускну здатність зв'язку між CPU та GPU через PCIe, а також швидкість обробки на CPU.

Далі рантайм вирішує, що вигідніше для кожного експерта: тримати його в кеші GPU чи виконувати безпосередньо на CPU. Статичний поділ тут програє, бо вартість передавання даних і обчислень суттєво різниться між ноутбуком, настільним комп'ютером і робочою станцією. Це вже схоже на системну оптимізацію, а не на гарну цифру з одного вдалого запуску.

Другий важіль — кешування з урахуванням семантики між ходами агента. Коли запити пов'язані й змінюються поступово, FreeToken повторно використовує корисний стан, зберігає затребуваних експертів активними та скорочує повторну обробку промпту. Тому виграш у prefill помітно більший, ніж у послідовній генерації токенів.

У зведенні проєкту також заявлено прискорення decode у 1,5–2,3× відносно найкращих порівнюваних edge-систем на RTX 5090. Окремий показовий сценарій: модель на 35B параметрів запускається на ноутбучному GPU з 8 ГБ пам'яті.

Чому це змінює локальний інференс

FreeToken виглядає не як косметичне прискорення, а як спроба виправити базову архітектуру локального serving-стека. Найбільше виграють машини з обмеженою VRAM, але достатньою оперативною пам'яттю, а також агентні сценарії з довгою послідовністю пов'язаних запитів.

Я б насамперед дивився на холодний старт, хвостову затримку, тиск на RAM і поведінку кешу за різкої зміни теми. Семантичне повторне використання чудово працює там, де справді є повторюваність; на непов'язаних запитах його внесок неминуче буде меншим. Так само баланс CPU і GPU може впертися в конкретну шину PCIe або слабкий процесор.

З інженерного погляду ідея слушна: спочатку виміряти реальну машину, а потім планувати виконання, замість нав'язувати всім однакову схему. Головне відкрите питання тепер не в тому, чи швидший FreeToken у опублікованих тестах, а в тому, наскільки стабільно ця перевага зберігається для різних моделей, заліза та реальних агентних сесій.

Раніше ми розглядали, як інфраструктура конфіденційних обчислень може змінити вартість інференсу LLM і компроміси щодо приватності. FreeToken додає до цього рівняння продуктивність, підвищуючи пропускну здатність decode завдяки адаптації до пропускної здатності між CPU та GPU.