Локальный Qwen: что значат 500 tps на M1 Ultra

Что на самом деле показали пользовательские замеры

Я бы читал эти цифры как результат конкретного стека, а не как паспортную скорость M1 Ultra. В пользовательском обсуждении сообщается о префиле около 500 tps и генерации кода до 100 tps на M1 Ultra с 64 GPU, MTPLX и Qwen3.8-Flash-Next. Для локального инференса это сильный ориентир, но только для указанной конфигурации.

Сравнение с Nvidia пока не получилось: другой участник запускает Qwen3.6 27b на A6000, однако скорость этой связки не приведена. Перед нами не тест Apple против Nvidia, а два отдельных свидетельства. Без одинаковой модели, квантования, длины промпта, батча и режима параллелизма красивое число легко вводит в заблуждение.

Документация mlx-serve называет Qwen3.6-27B и Qwen3.8-27B среди поддерживаемых моделей, включая MLX-паки с головами для спекулятивного декодирования. В релизных заметках oMLX для M3 Ultra указаны примерно 91 tps без MTP и 134 tps с MTP, а после оптимизации выгрузки экспертов префил на 32K достигал около 636 tps. Это объясняет правдоподобие диапазона, но не переносит результаты новых Apple-чипов на M1 Ultra.

Стек здесь решает не меньше железа. mlx-serve дает MLX-ориентированный серверный слой, oMLX добавляет управление моделями и специализированные ускорения, а Strata нацелен прежде всего на CUDA-системы, включая A6000. По состоянию на 8 ноября 2026 года эти показатели разумнее считать конфигурационными результатами, а не универсальными характеристиками устройств.

Где локальный инференс действительно меняет расклад

Практический выигрыш здесь реальный: приватные данные можно обрабатывать локально, не оплачивая каждый токен внешнему провайдеру. Особенно хорошо это ложится на последовательные задачи с одним или несколькими пользователями.

• Транскрибация и аналитика: запись звонка, расшифровка, извлечение фактов и подготовка структурированной сводки остаются внутри локального контура.
• Медицинские документы: модель может нормализовать терминологию и готовить черновики, но результат все равно требует клинической проверки.
• Агенты и код: высокая скорость одного потока делает локального помощника отзывчивым, однако ничего не говорит о производительности при десятках одновременных запросов.

Для Apple Silicon я бы первым проверял расход памяти и стабильность длинного префила. Для A6000 важнее профиль батчинга, конкурентные запросы и цена квантования в качестве ответа. Главный незакрытый вопрос не в том, достижимы ли 100 tps, а в том, сколько от них останется на реальной нагрузке.

Мы ранее разбирали Rust LocalGPT — локального ассистента в одном бинарнике с памятью и HTTP API. Этот кейс дополняет бенчмарки Qwen и Hermes, показывая практический контекст локального инференса.