FlashProve beweist die Herkunft von LLM-Antworten

Was FlashProve tatsächlich beweist

Der entscheidende Punkt ist bemerkenswert: FlashProve ermöglicht es, zu prüfen, ob eine Antwort tatsächlich von dem angegebenen Modell mit vorher festgelegten Gewichten berechnet wurde. In Anthropics Forschung zur nachweisbaren Inferenz wird das System als offener Prototyp für große Sprachmodelle mit Mixture-of-Experts-Architektur beschrieben.

Der Anbieter legt zunächst Modell und Gewichte kryptografisch fest und erzeugt anschließend einen Beweis für eine konkrete Eingabe und Ausgabe. Ein unabhängiger Prüfer kann die Korrektheit der Berechnung bestätigen, ohne die proprietären Gewichte zu erhalten. Grundlage sind Zero-Knowledge-Beweise aus der zkSNARK-Familie.

Zum Zeitpunkt der Veröffentlichung berichtete Anthropic von mehr als 100 Token pro Sekunde auf einer einzelnen H100 für das 400-Milliarden-Parameter-Modell Llama 4 Maverick mit 4-Bit-Quantisierung. Der Beweis für eine Anfrage mit 1.024 Token war etwa 19 MB groß. Seine Erzeugung benötigte allerdings ungefähr 70- bis 95-mal mehr GPU-Zeit als die Bearbeitung einer vergleichbaren Anfrage über vLLM.

Damit ist dies keine reine kryptografische Fantasie mehr, aber auch kein kostenloses Häkchen neben jeder API-Antwort. Der Durchsatz wirkt überzeugend, während Beweisgröße und zusätzlicher Rechenaufwand bei hoher Last schnell zum Problem werden.

Bemerkenswert ist auch die technische Vollständigkeit der Arbeit. Die Veröffentlichung enthält einen offenen Prover, einen schnellen C++-Verifier, einen langsameren Verifier in Lean sowie eine Formalisierung des Protokolls in Lean 4. Für Vollständigkeit, Korrektheit und Zero Knowledge werden formale Beweise angegeben.

Wo die Grenze dieser Garantie liegt

FlashProve beweist die Herkunft einer Berechnung, nicht die Qualität ihrer Antwort. Dieser Unterschied ist grundlegend: Ein unsicheres oder fehlerhaftes Modell kann unsicheren oder falschen Text mit einem vollkommen gültigen kryptografischen Beweis erzeugen.

Der praktische Nutzen bleibt dennoch erheblich. Ein Auditor kann prüfen, ob in der Produktion genau das Modell läuft, das bewertet wurde; ein Betreiber kann Gewichte schwerer unbemerkt austauschen; und ein nachgelagertes System kann Antworten ohne Beweis eines zugelassenen Modells ablehnen.

Ich würde zuerst drei Engpässe beobachten: die Kosten des Provers, die Größe des Beweises und die Latenz der unabhängigen Prüfung. Besonders interessant ist die Asymmetrie: Das Erzeugen eines Beweises benötigt erhebliche GPU-Ressourcen, seine Prüfung läuft dagegen auf gewöhnlichen CPUs. Das macht externe Audits realistischer, auch wenn die fortlaufende Beweiserzeugung vorerst teuer bleibt.

FlashProve löst Alignment nicht, schließt aber eine unangenehme Lücke zwischen Versprechen und tatsächlichem Einsatz. Die Frage „Hat dieses Modell geantwortet?“ lässt sich nun von der viel schwierigeren Frage trennen: „Kann man seiner Antwort vertrauen?“.

Zuvor haben wir erläutert, wie IRT-Metriken die Zuverlässigkeit LLM-basierter Bewertung messen können. Dieser Ansatz ergänzt Anthropics Arbeit zur nachweisbaren Inferenz, indem er KI-Ausgaben anhand stärkerer Evidenz bewertbar macht.