Kimi K3 на MacBook M1: що тут справді важливо

Запустити Kimi K3 локально вдалося, але це історія не про комфорт, а про межі заліза

Найважливіший факт тут простий: у пості на Reddit користувач пише, що завантажив усі 1.45 TB експертів на локальний диск і покращив інференс на M1 Mac до 16 секунд на токен замість приблизно хвилини. Prefill, за його словами, впав з 2429 секунд до 40. Це вже не "зовсім не їде", а цілком наочна демонстрація, де саме модель упирається в систему.

Джерело факту тут не офіційний бенчмарк, а саме оновлення в пості Reddit зі спільноти LocalLLaMA. І це важливо тримати в голові: я б не сприймав ці цифри як норму для Kimi K3, але як інженерний сигнал вони чудові. Якщо після профілювання та роботи з подачею даних прискорення таке велике, значить вузьке місце сиділо не лише в множенні матриць.

Далі картина збігається з тим, що зазвичай пишуть про Kimi K3 у публічних розборах моделі: це MoE на 2.8T параметрів, де на токен активні 16 із 896 експертів. На папері це звучить як спосіб зробити гіганта "дешевшим" в інференсі. На практиці вага моделі нікуди не зникає, і 1.4 TB класу пам'яті для завантаження ваг залишаються головним обмеженням.

І ось тут Apple Silicon цікавий не магією, а профілем вузьких місць. Для таких MoE-моделей проблема часто не в тому, що чіп зовсім слабкий, а в тому, що доставка потрібних ваг і dispatch експертів починають диктувати все інше.

Що це змінює для локальних LLM і де закінчується хайп

Мій висновок короткий: новина важлива як доказ болю, а не як доказ практичності. Так, надвелику MoE-модель можна якось розкочегарити локально навіть на класі M1, але це не робить такий запуск реалістичним робочим сценарієм.

Перший наслідок очевидний: оптимізація пайплайну, зберігання та prefill може змінювати порядки величин. Якщо prefill падає з 2429 до 40 секунд, то інженерна робота навколо інференсу іноді важливіша за чергову суперечку про "який backend швидший".

Другий менш очевидний: для Apple Silicon розмова про великі MoE все сильніше зводиться до пропускної здатності пам'яті, dispatch експертів і стратегій шардування, а не до голих FLOPS. Тому навіть хороші результати на стеках типу MLX не скасовують базову проблему – модель занадто велика для нормального локального режиму.

І третє, найтверезіше: self-hosting таких моделей залишається історією про дуже спеціальні експерименти або кластерний масштаб. Але сам факт, що люди вже вичавлюють із цього хвилини в десятки секунд, показує напрямок досить чітко: майбутнє локального інференсу вирішать не лише нові чіпи, а вміння агресивно скорочувати рух ваг. Саме там зараз і відбувається справжня магія, без жодної романтики.

Ми вже розповідали про Rust LocalGPT — локального асистента в одному бінарному файлі, який не потребує хмари й працює прямо на користувацькій машині. Це природний крок у той самий бік, що й експеримент з Kimi K3 на MacBook.