FlashProve доказывает происхождение ответов LLM

Что именно доказывает FlashProve

Меня здесь цепляет главное: FlashProve позволяет проверить, что ответ действительно вычислила заявленная модель с заранее зафиксированными весами. В исследовании Anthropic о provable inference система описана как открытый прототип для крупных языковых моделей с архитектурой mixture-of-experts.

Провайдер сначала криптографически фиксирует модель и ее веса, а затем создает доказательство для конкретного входа и выхода. Независимый проверяющий может подтвердить корректность вычисления, не получая закрытые веса. В основе лежат доказательства с нулевым разглашением в стиле zkSNARK.

На момент публикации Anthropic сообщала о скорости свыше 100 токенов в секунду на одной H100 для 400-миллиардной Llama 4 Maverick с 4-битной квантизацией. Размер доказательства для запроса на 1024 токена составлял около 19 МБ. При этом генерация доказательства требовала примерно в 70–95 раз больше GPU-времени, чем обработка сопоставимого запроса через vLLM.

То есть это уже не чистая криптографическая фантазия, но еще и не бесплатная галочка возле каждого API-ответа. Пропускная способность выглядит убедительно, тогда как объем доказательств и дополнительные вычисления быстро становятся проблемой при массовой нагрузке.

Отдельно мне нравится инженерная полнота работы. В публикацию входят открытый prover, быстрый верификатор на C++, более медленный верификатор на Lean и формализация протокола в Lean 4. Для полноты, корректности и нулевого разглашения заявлены формальные доказательства.

Где проходит граница этой гарантии

FlashProve доказывает происхождение вычисления, а не качество ответа. Это принципиальное различие: небезопасная или ошибочная модель способна выдать небезопасный или ошибочный текст с идеально валидным криптографическим доказательством.

Практическая ценность все равно серьезная. Аудитор сможет проверить, что в продакшене работает именно та модель, которую оценивали; оператору станет сложнее незаметно заменить веса; downstream-система сможет отвергать ответы без доказательства от разрешенной модели.

Я бы первым делом смотрел на три узких места: стоимость prover, размер доказательства и задержку независимой проверки. Особенно интересна асимметрия: доказательство требует существенных GPU-ресурсов, а проверка доступна на обычных CPU. Это делает внешний аудит реалистичнее, даже если постоянная генерация доказательств пока остается дорогой.

FlashProve не решает alignment, но убирает одну неприятную дыру между обещанием и фактическим запуском. Теперь вопрос «эта ли модель ответила?» можно отделить от гораздо более сложного вопроса «можно ли доверять ее ответу?».

Ранее мы разбирали, как метрики IRT помогают измерять надежность оценки на основе LLM. Этот подход дополняет работу Anthropic над доказуемым инференсом, показывая, как оценивать результаты ИИ с более убедительными доказательствами.