FlashProve: Anthropic demuestra qué modelo dio la respuesta

El Frontier Red Team de Anthropic publicó el 2 de noviembre FlashProve, un prototipo abierto de inferencia verificable («provable inference»). Con él, un proveedor de modelos puede demostrar criptográficamente que una respuesta concreta proviene de un conjunto concreto de pesos, declarado de antemano, y sin revelar esos pesos. El código está en GitHub con licencia Apache 2.0.

¿Qué problema resuelve FlashProve?

Cuando consultamos un modelo a través de una API, no tenemos forma de comprobar que nos ha respondido el modelo por el que pagamos. Los autores ponen el ejemplo de un servicio intermediario que cambia el modelo en silencio «for cost reasons», y de un proveedor que podría servir una versión más barata o degradada y falsificar los registros.

FlashProve responde con un zkSNARK, es decir, una prueba breve de conocimiento cero. Funciona en dos pasos:

1. Una vez por modelo, el proveedor publica un compromiso sobre los pesos: una breve «huella digital» que lo vincula a un único conjunto de pesos sin revelarlos.
2. Para cada consulta, el servidor genera una prueba de que fue precisamente el modelo declarado el que produjo esos tokens. Cualquiera puede verificarla en una CPU normal, sin acceso a los pesos.

La prueba tiene varias propiedades: una prueba honesta siempre se acepta, falsificar una es prácticamente imposible, los pesos y los valores intermedios quedan ocultos, y la prueba en sí es pequeña y barata de verificar.

¿Qué tan rápido es FlashProve?

Aquí se pone interesante. El equipo lo demostró con el Llama 4 Maverick completo, un modelo MoE (mixture-of-experts) de 400.000 millones de parámetros, unos 17.000 millones activos por token, con pesos de 4 bits. Según la publicación:

1. El prover necesita una H100 y 24 núcleos de CPU, y transmite los pesos desde unos 290 GB de memoria del host.
2. La fase inicial dura unos 39 minutos y se ejecuta una vez por modelo.
3. Un lote de 24 consultas tarda unos 223 segundos, es decir, unos 110 tokens por segundo, y una prueba ocupa 18,78 MB.
4. Verificar una prueba lleva 17 segundos con 24 hilos (21 segundos con uno), sin GPU.

La sobrecarga sigue siendo grande: generar la prueba tarda unas 72 veces más que procesar las mismas 24 consultas con vLLM (entre 66 y 77 veces según la ejecución). Como comparación, los autores citan trabajos abiertos anteriores que alcanzaban fracciones de token por segundo o funcionaban con modelos del tamaño de GPT-2.

¿Dónde entra Claude en todo esto?

En la propia investigación. Según los autores, Claude desarrolló las mejoras de los zkSNARK para inferencia y escribió la especificación del protocolo. Aun así, el equipo señala que Claude «often makes decisions that are hard to evaluate», por lo que las propiedades de seguridad se formalizaron y demostraron en Lean. El repositorio incluye, entre otras cosas, el prover, un verificador rápido en C++ y un segundo verificador, formalmente verificado, en Lean; según los autores, ambos coinciden en todas las pruebas evaluadas. Ya escribí sobre cómo se maneja Claude con las demostraciones formales a propósito de la verificación formal de 123 bibliotecas open source.

Entre los autores hay investigadores de Anthropic, EPFL, MIT, StarkWare y Succinct.

¿Qué hay que tener en cuenta?

Primero, que es un prototipo de investigación. La publicación no dice nada sobre usar FlashProve con los modelos Claude ni en producción en Anthropic, y el repositorio está marcado como sin mantenimiento y no acepta cambios.

Segundo, las limitaciones que describen los propios autores. La prueba cubre una versión entera de los pesos y la decodificación voraz (greedy decoding), así que las respuestas con muestreo pueden diferir. El contexto está limitado a 1024 tokens, la arquitectura del modelo no queda oculta y el diseño presupone un modelo MoE. Tampoco hay garantías formales para el código ejecutable rápido.

Tercero, la latencia. FlashProve genera la prueba después de la inferencia, por lotes, así que no la recibimos junto con la respuesta.

¿Para qué puede servir?

Los autores mencionan, entre otros usos, detectar servidores comprometidos o modelos sustituidos, confirmar qué modelo escribió un texto y asegurarse de que solo se sirven modelos aprobados. Una idea curiosa es la llamada «Proof-of-Failure»: una prueba de que el proveedor gastó al menos cierto número de tokens de un modelo concreto sin obtener un resultado, por ejemplo, que el modelo no encontró errores en un parche tras al menos un millón de tokens.

Es un enfoque distinto de la marca de agua de Claude, que marca el texto estadísticamente y necesita una clave secreta para detectarla. FlashProve ofrece una prueba matemática que cualquiera puede verificar. Entre sus planes, el equipo quiere ocultar los detalles de la arquitectura y ampliar el límite de 1024 tokens a toda la ventana de contexto.

Preguntas frecuentes

¿Qué es FlashProve?

Es un prototipo abierto de Anthropic para la inferencia verificable: un sistema de pruebas criptográficas (zkSNARK) que permite comprobar que una respuesta la generó un modelo concreto y declarado, sin revelar sus pesos.

¿FlashProve funciona con Claude?

La publicación de Anthropic no lo menciona. El equipo lo probó con el modelo abierto Llama 4 Maverick, y el proyecto en sí es un prototipo de investigación.

¿Puedo verificar yo mismo una prueba de FlashProve?

Sí. Según el README, la verificación de una prueba de ejemplo se puede ejecutar en Linux con g++ 13, con menos de 2 GB de RAM y sin GPU. Para generar pruebas del modelo completo hace falta una H100 de 80 GB y varios cientos de GB de RAM.

¿Con qué licencia se publica FlashProve?

Con licencia Apache 2.0. Los pesos del modelo no están incluidos: hay que descargarlos de Hugging Face bajo la licencia de Llama 4.