Локальний Qwen: що означають 500 tps на M1 Ultra

Що насправді показали користувацькі виміри

Я б сприймав ці цифри як результат конкретного стеку, а не як паспортну швидкість M1 Ultra. У користувацькому обговоренні повідомляють про префіл близько 500 tps і генерацію коду до 100 tps на M1 Ultra з 64 GPU-ядрами, MTPLX та Qwen3.8-Flash-Next. Для локального інференсу це сильний орієнтир, але лише для вказаної конфігурації.

Порівняння з Nvidia поки що не склалося: інший учасник запускає Qwen3.6 27B на A6000, але швидкість цієї зв'язки не наведено. Перед нами не тест Apple проти Nvidia, а два окремі свідчення. Без однакової моделі, квантування, довжини промпту, батчу та режиму паралелізму ефектне число легко може ввести в оману.

Документація mlx-serve вказує Qwen3.6-27B і Qwen3.8-27B серед підтримуваних моделей, зокрема MLX-пакети з головами для спекулятивного декодування. У нотатках до релізу oMLX для M3 Ultra наведено приблизно 91 tps без MTP і 134 tps з MTP; після оптимізації вивантаження експертів префіл на 32K сягнув близько 636 tps. Це пояснює правдоподібність діапазону, але не переносить результати новіших чипів Apple безпосередньо на M1 Ultra.

Стек тут важить не менше за апаратне забезпечення. mlx-serve дає серверний шар, орієнтований на MLX, oMLX додає керування моделями та спеціалізовані прискорення, а Strata насамперед націлена на CUDA-системи, включно з A6000. Станом на 8 листопада 2026 року ці показники варто вважати результатами конкретних конфігурацій, а не універсальними характеристиками пристроїв.

Де локальний інференс справді змінює ситуацію

Практична перевага реальна: приватні дані можна обробляти локально, не сплачуючи зовнішньому провайдеру за кожен токен. Особливо добре це підходить для послідовних задач з одним або кількома користувачами.

• Транскрибування й аналітика: запис дзвінка, розшифрування, вилучення фактів і структурований підсумок можуть залишатися в локальному контурі.
• Медичні документи: модель може нормалізувати термінологію та готувати чернетки, але результат однаково потребує клінічної перевірки.
• Агенти й код: висока швидкість одного потоку робить локального асистента чуйним, проте нічого не говорить про роботу за десятків одночасних запитів.

Для Apple Silicon я б насамперед перевіряв споживання пам'яті та стабільність довгого префілу. Для A6000 важливіші профіль батчингу, конкурентні запити й втрата якості через квантування. Головне відкрите питання не в тому, чи можливі 100 tps, а в тому, скільки від них залишиться на реальному навантаженні.

Раніше ми розглядали Rust LocalGPT — локального асистента в одному бінарному файлі з пам'яттю та HTTP API. Цей кейс доповнює бенчмарки Qwen і Hermes практичним контекстом локального інференсу.