10 млн токенів за секунду: рекорд чи підміна метрики

Що стоїть за 10 мільйонами токенів за секунду

Я б не називав 10 млн токенів за секунду швидкістю моделі, доки не буде показано, що саме й як вимірювали. Відправною точкою стала публікація Rysana в X, на яку послався User 144406. У дискусії закономірно виникли запитання, а вартість такої швидкості навіть порівняли із золотим злитком за мільйон токенів.

Ключова проблема не в самому великому числі, а в знаменнику. Це може бути сукупна пропускна здатність кластера за пакетної обробки, швидкість prefill, обробка кешованих станів або decode одного запиту. Для користувача ці режими виглядають зовсім по-різному, хоча маркетинг називає їх однаково: токени за секунду.

Є й показова плутанина з довгим контекстом. У матеріалі Lightbits та Inferra заявлено підтримку контексту на 10 млн токенів на обладнанні L40S, але наведений результат стосується time-to-first-token: 26 секунд проти 8,3 години. Це суттєве прискорення конкретного етапу, а не генерація 10 млн нових токенів щосекунди.

Для масштабу корисно подивитися на сторінку бенчмарків NVIDIA. Там для DeepSeek R1 на системі Vera Rubin NVL72 зазначено 1 183 327 токенів за секунду. Це величезне число, але воно належить спеціалізованій багатопроцесорній системі й усе одно помітно нижче за обговорювані 10 млн.

Чому цей рекорд поки мало говорить про реальну роботу

Без конфігурації обладнання, розміру батчу та розділення prefill і decode цей рекорд неможливо перенести на звичайний API-запит. Станом на 30 вересня 2026 року доступний контекст не показує, що одна модель генерує 10 млн вихідних токенів за секунду для одного користувача.

З інженерного погляду тут важливі три речі: затримка до першого токена, стабільна швидкість продовження та вартість обробки. Сукупний throughput може бути чудовим показником завантаження кластера, але водночас нічого не говорити про затримку окремої сесії. Що більший батч, то ефектніша фінальна цифра і то слабший її зв'язок з інтерактивним використанням.

Мій висновок простий: це не обов'язково фальшивий результат, але наразі точно неоднозначне формулювання. У перегонах інференсу перемагає не той, у кого більше число, а той, хто чесніше підписав осі графіка.

Раніше ми розглядали, як мережі конфіденційних обчислень змінюють вартість і доступну потужність ШІ-інференсу. Цей контекст допомагає зрозуміти, що на практиці мали б означати заяви про 10 мільйонів токенів за секунду.