Технический контекст
Я полез проверять цифру 750 tok/s, потому что такие скриншоты обычно живут ровно до первого вопроса: на чём именно это крутится. Здесь, судя по доступным данным, речь не про «обычный LLM стал внезапно быстрее», а про GPT-5.6 Sol на Cerebras Inference.
Это важная разница для всех, кто думает про AI integration или build AI automation вокруг интерактивных сценариев. Скорость тут даёт не только модель, а связка модели с железом и способом инференса.
Что бросилось мне в глаза: 750 токенов в секунду заявляют именно для крупной reasoning-модели, а не для маленькой демки. Для сравнения, на привычных GPU такой класс задач обычно упирается в память и пропускную способность, поэтому цифры часто в разы ниже.
У Cerebras вся идея как раз в том, чтобы убрать memory bottleneck. Их WaferScale-подход с огромной локальной памятью и пропускной способностью даёт тот самый эффект, когда модель не «голодает» между токенами. Отсюда и разговоры про 15x к GPU-инференсу в отдельных режимах.
При этом я бы не делал из 750 tok/s универсальный новый baseline. У Groq сильная сторона часто в низкой задержке первого токена и стабильности потока. У кастомных ASIC вообще встречаются дикие числа вроде десятков тысяч tok/s, но там нередко речь о сильно «запечённых» моделях с узким сценарием, а не о нормальной общей LLM-работе.
То есть новость реальная, но контекст решает всё: модель, железо, размер батча, длина контекста, first-token latency и тип нагрузки. Без этого «750» легко превращается в маркетинговый мем.
Влияние на бизнес и автоматизацию
Вот где я реально оживился: такие скорости двигают не только чат. Они меняют голосовых агентов, live-copilot сценарии и agent loops, где модель должна думать и отвечать почти без паузы.
Кто выигрывает? Те, у кого дорогая каждая секунда ожидания: саппорт, продажи, операторские панели, real-time ассистенты. Кто проигрывает? Команды, которые смотрят только на цену за миллион токенов и забывают про архитектуру задержек.
На практике я вижу тут три эффекта: можно уменьшать буферы в стриминге, делать более агрессивные многошаговые цепочки и не убивать UX ожиданием. Но это работает только если вся AI architecture собрана аккуратно, а не сведена к «подключили API и поехали».
Мы в Nahornyi AI Lab как раз решаем такие штуки для клиентов: где нужен не просто доступ к модели, а нормальная AI solution development под конкретный workflow, с выбором инференса, маршрутизацией и экономикой ответа. Если у вас процессы буксуют на задержках, давайте разберу ваш сценарий и предложу AI automation без лишней магии и с понятной пользой для бизнеса.