FlashProve доводить походження відповідей LLM

Що саме доводить FlashProve

Тут найважливіше те, що FlashProve дає змогу перевірити: відповідь справді обчислила заявлена модель із наперед зафіксованими вагами. У дослідженні Anthropic про provable inference систему описано як відкритий прототип для великих мовних моделей з архітектурою mixture-of-experts.

Провайдер спочатку криптографічно фіксує модель та її ваги, а потім створює доказ для конкретних вхідних і вихідних даних. Незалежний перевіряльник може підтвердити правильність обчислення, не отримуючи закритих ваг. В основі підходу лежать докази з нульовим розголошенням типу zkSNARK.

На момент публікації Anthropic повідомляла про швидкість понад 100 токенів за секунду на одній H100 для 400-мільярдної Llama 4 Maverick із 4-бітною квантизацією. Розмір доказу для запиту на 1024 токени становив приблизно 19 МБ. Водночас його генерація потребувала приблизно у 70–95 разів більше GPU-часу, ніж обробка зіставного запиту через vLLM.

Отже, це вже не просто криптографічна фантазія, але й не безкоштовна позначка біля кожної API-відповіді. Пропускна здатність виглядає переконливо, тоді як обсяг доказів і додаткові обчислення швидко стають проблемою за масового навантаження.

Також вражає інженерна повнота роботи. Публікація містить відкритий prover, швидкий верифікатор на C++, повільніший верифікатор на Lean і формалізацію протоколу в Lean 4. Для повноти, коректності та нульового розголошення заявлено формальні докази.

Де проходить межа цієї гарантії

FlashProve доводить походження обчислення, а не якість відповіді. Це принципова різниця: небезпечна або помилкова модель може видати небезпечний чи хибний текст з ідеально чинним криптографічним доказом.

Практична цінність усе одно значна. Аудитор зможе перевірити, що у продакшені працює саме та модель, яку оцінювали; оператору буде складніше непомітно замінити ваги; а downstream-система зможе відхиляти відповіді без доказу від дозволеної моделі.

Насамперед варто стежити за трьома вузькими місцями: вартістю prover, розміром доказу та затримкою незалежної перевірки. Особливо цікава асиметрія: створення доказу потребує значних GPU-ресурсів, а перевірка доступна на звичайних CPU. Це робить зовнішній аудит реалістичнішим, навіть якщо постійне створення доказів поки що дороге.

FlashProve не розв'язує проблему alignment, але прибирає неприємний розрив між обіцянкою та фактичним запуском. Тепер питання «чи ця модель відповіла?» можна відокремити від значно складнішого питання «чи можна довіряти її відповіді?».

Раніше ми розглядали, як метрики IRT можуть вимірювати надійність оцінювання на основі LLM. Цей підхід доповнює роботу Anthropic над доказовим інференсом, посилюючи доказову базу для оцінки результатів ШІ.