FlashProve: Anthropic beweist, welches Modell geantwortet hat

Das Frontier Red Team von Anthropic hat am 2. November FlashProve veröffentlicht, einen offenen Prototyp für beweisbare Inferenz („provable inference“). Damit kann ein Modellanbieter kryptografisch beweisen, dass eine bestimmte Antwort von einem bestimmten, vorab festgelegten Satz von Gewichten stammt, ohne die Gewichte selbst preiszugeben. Der Code liegt auf GitHub unter der Lizenz Apache 2.0.

Welches Problem löst FlashProve?

Wenn wir ein Modell über eine API abfragen, können wir nicht prüfen, ob uns wirklich das Modell geantwortet hat, für das wir bezahlen. Die Autoren nennen als Beispiel einen Zwischendienst, der das Modell „for cost reasons“ still und heimlich austauscht, und einen Anbieter, der eine günstigere oder abgespeckte Version ausliefern und die Logs fälschen könnte.

FlashProve setzt dagegen einen zkSNARK, also einen kurzen Zero-Knowledge-Beweis. Das funktioniert in zwei Schritten:

1. Einmal pro Modell veröffentlicht der Anbieter eine Verpflichtung (Commitment) auf die Gewichte: einen kurzen „Fingerabdruck“, der ihn an genau einen Satz Gewichte bindet, ohne sie zu verraten.
2. Für jede Anfrage erzeugt der Server einen Beweis, dass genau das festgelegte Modell diese Tokens erzeugt hat. Jeder kann den Beweis auf einer gewöhnlichen CPU prüfen, ohne Zugriff auf die Gewichte.

Der Beweis hat einige Eigenschaften: Ein ehrlicher Beweis besteht immer, ein gefälschter lässt sich praktisch nicht erstellen, Gewichte und Zwischenwerte bleiben verborgen, und der Beweis selbst ist klein und günstig zu prüfen.

Wie schnell ist FlashProve?

Jetzt wird es spannend. Das Team hat es am vollständigen Llama 4 Maverick gezeigt, einem MoE-Modell (Mixture of Experts) mit 400 Mrd. Parametern, davon rund 17 Mrd. aktiv pro Token, mit 4-Bit-Gewichten. Laut dem Beitrag:

1. Der Prover braucht eine H100 und 24 CPU-Kerne und streamt die Gewichte aus rund 290 GB Hauptspeicher.
2. Die Vorbereitungsphase dauert etwa 39 Minuten und läuft einmal pro Modell.
3. Ein Paket aus 24 Anfragen dauert rund 223 Sekunden, also etwa 110 Tokens pro Sekunde, und ein einzelner Beweis ist 18,78 MB groß.
4. Die Prüfung eines Beweises dauert 17 Sekunden auf 24 Threads (21 Sekunden auf einem), ohne GPU.

Der Overhead ist weiterhin groß: Das Beweisen dauert etwa 72-mal länger, als vLLM für dieselben 24 Anfragen braucht (je nach Durchlauf 66- bis 77-mal). Zum Vergleich verweisen die Autoren auf frühere offene Arbeiten, die Bruchteile eines Tokens pro Sekunde erreichten oder auf Modellen in der Größenordnung von GPT-2 liefen.

Welche Rolle spielt Claude dabei?

In der Forschungsarbeit selbst. Laut den Autoren hat Claude die Verbesserungen der zkSNARKs für Inferenz erarbeitet und die Protokollspezifikation geschrieben. Das Team betont aber, dass Claude „often makes decisions that are hard to evaluate“, deshalb wurden die Sicherheitseigenschaften in Lean formalisiert und bewiesen. Das Repository enthält unter anderem den Prover, einen schnellen Verifier in C++ und einen zweiten, formal verifizierten Verifier in Lean; laut den Autoren stimmen beide bei jedem getesteten Beweis überein. Wie Claude mit formalen Beweisen umgeht, habe ich beim Thema formale Verifikation von 123 Open-Source-Bibliotheken beschrieben.

Zu den Autoren gehören Forschende von Anthropic, EPFL, MIT, StarkWare und Succinct.

Worauf sollte man achten?

Erstens: Es ist ein Forschungsprototyp. Der Beitrag sagt nichts über einen Einsatz von FlashProve für Claude-Modelle oder in der Produktion von Anthropic, und das Repository ist als nicht gepflegt markiert und nimmt keine Änderungen an.

Zweitens: die Einschränkungen, die die Autoren selbst nennen. Der Beweis deckt eine ganzzahlige Version der Gewichte und Greedy Decoding ab, Antworten mit Sampling können also abweichen. Der Kontext ist auf 1024 Tokens begrenzt, die Modellarchitektur ist nicht verborgen, und das Design setzt ein MoE-Modell voraus. Außerdem gibt es keine formalen Garantien für den schnellen ausführbaren Code.

Drittens: die Latenz. FlashProve beweist erst nach der Inferenz, in Paketen, man bekommt den Beweis also nicht zusammen mit der Antwort.

Wofür könnte es nützlich sein?

Die Autoren nennen unter anderem das Erkennen kompromittierter Server oder ausgetauschter Modelle, die Bestätigung, welches Modell einen Text geschrieben hat, und die Kontrolle, dass nur freigegebene Modelle ausgeliefert werden. Eine spannende Idee ist der „Proof-of-Failure“: ein Beweis, dass ein Anbieter mindestens eine bestimmte Anzahl Tokens eines bestimmten Modells verbraucht und kein Ergebnis erzielt hat, etwa dass das Modell nach mindestens 1 Mio. Tokens keine Fehler in einem Patch gefunden hat.

Das ist ein anderer Ansatz als das Claude-Wasserzeichen, das Text statistisch markiert und zur Erkennung einen geheimen Schlüssel braucht. FlashProve liefert einen mathematischen Beweis, den jeder prüfen kann. Als Nächstes will das Team Architekturdetails verbergen und das Limit von 1024 Tokens auf das volle Kontextfenster erweitern.

FAQ

Was ist FlashProve?

Ein offener Prototyp von Anthropic für beweisbare Inferenz: ein kryptografisches Beweissystem (zkSNARK), mit dem sich prüfen lässt, dass eine Antwort von einem bestimmten, festgelegten Modell erzeugt wurde, ohne dessen Gewichte offenzulegen.

Funktioniert FlashProve mit Claude?

Laut dem Beitrag von Anthropic ist davon keine Rede. Das Team hat es am offenen Llama 4 Maverick getestet, und das Projekt selbst ist ein Forschungsprototyp.

Kann ich einen FlashProve-Beweis selbst prüfen?

Ja. Laut README lässt sich die Prüfung eines Beispielbeweises unter Linux mit g++ 13 ausführen, mit weniger als 2 GB RAM und ohne GPU. Zum Erzeugen von Beweisen für das vollständige Modell braucht man eine H100 mit 80 GB und mehrere hundert GB RAM.

Unter welcher Lizenz steht FlashProve?

Unter Apache 2.0. Die Modellgewichte sind nicht enthalten, man muss sie von Hugging Face unter der Llama-4-Lizenz herunterladen.