Hackeo a Anthropic: los agentes de IA de Cathedral entraron en menos de 12 horas

El 26 de octubre el Washington Post contó cómo los agentes de IA de la startup Cathedral encontraron en menos de 12 horas un camino hacia los sistemas internos de Anthropic. No a través de Claude, sino del software externo de ventas, RR. HH. e IT que usa la empresa. El hackeo a Anthropic por parte de Cathedral fue una prueba dentro del programa de reporte de vulnerabilidades de Anthropic, y ahora ambas partes discuten hasta dónde llegaron los agentes.

¿Cómo entraron los agentes de Cathedral en Anthropic?

Según la crónica de Decrypt, basada en un borrador del informe de Cathedral al que tuvo acceso el Washington Post, el proceso fue así:

1. Durante varios días, los agentes intentaron entrar directamente en el software de Anthropic y no lo consiguieron.
2. Después cambiaron de objetivo a herramientas de terceros: aplicaciones administrativas y de ventas que también usan muchas otras empresas.
3. Por esa vía, en menos de 12 horas, encontraron caminos hacia datos sensibles.

Los agentes de Cathedral ejecutan tareas de varios pasos sin que una persona apruebe cada uno. Los proveedores por cuyos sistemas entraron aún no se han revelado.

¿Qué encontraron y qué, según Anthropic, no ocurrió?

Aquí las versiones no coinciden. El informe de Cathedral habla de caminos hacia transcripciones de reuniones, datos de salarios y ofertas de trabajo, además de mensajes de Slack sobre los modelos más avanzados de Anthropic.

Anthropic confirmó el acceso a una parte “limitada” (en el original, “limited set”) de sus sistemas de ventas, RR. HH. e IT, con datos de contacto de algunos clientes y socios y datos básicos de cuentas de usuario. Según la empresa, los investigadores no llegaron a las conversaciones de los clientes con Claude, al código fuente ni a los pesos de los modelos.

Según Anthropic, su monitorización detectó parte de la actividad de Cathedral antes de que la startup la reportara, y la empresa cortó el acceso ese mismo día. Las aplicaciones afectadas se desactivaron hasta que los proveedores confirmaron los parches. Según la empresa, nada indica que alguien aparte de Cathedral haya aprovechado esas brechas.

¿De qué va la disputa?

De dos cosas. Primero, de las reglas del programa. Según Anthropic, Cathedral no reveló toda su actividad en los sistemas de la empresa, así que no cumplió del todo las reglas. El borrador del informe, en cambio, dice que el acceso a los datos se limitó al “mínimo absoluto, de acuerdo con las buenas prácticas de la investigación en seguridad” (en el original, “kept to the absolute minimum in accordance with security research best practices”).

Segundo, de la magnitud de la amenaza. El informe ya circula por la administración de EE. UU. Un alto funcionario anónimo dijo al Washington Post que si “un grupo de chavales que acaban de fundar una empresa” puede hacerlo, “los chinos podrían no estar muy lejos” (en el original, “If a bunch of kids who have just started a company can do this… then potentially, the Chinese aren’t far behind”). Según Anthropic, Cathedral exagera la importancia de estos hallazgos para la seguridad nacional.

¿Quién es Cathedral?

Una empresa muy joven, fundada hace unos meses por cuatro exempleados de DOGE. En julio levantó 160 millones de USD con una valoración de 1.400 millones de USD (datos de la crónica de Decrypt). Según Digital Trends, ya tiene contratos de ciberseguridad con agencias federales.

¿Es algo nuevo en el mundo de la IA?

Entrar por herramientas de terceros llenas de agujeros es un clásico. Lo nuevo es que el trabajo lo hicieron agentes de IA, en pocas horas, en una empresa que construye algunos de los modelos más potentes y habla mucho de proteger sus pesos. Como sabemos, en el folleto S-1 que Anthropic publicó el 26 de octubre se lee que la empresa retrasó más de un mes el pre-training de un nuevo modelo precisamente para reforzar la protección de los pesos (escribí sobre el folleto y las acciones de Anthropic).

Es también otro ejemplo de la misma serie que el ciberataque con IA de la plataforma Cairn: los agentes encuentran el eslabón más débil más rápido de lo que una persona tardaría en repasar la lista de proveedores.

Tomémoslo todo con cautela. El informe de Cathedral no se ha publicado y su contenido lo conocemos de segunda mano. La versión de Anthropic, por su parte, es la de la parte que tiene motivos para restarle importancia al incidente - de ahí dos listas tan distintas de lo que los agentes “vieron”.

¿A qué prestar atención en el futuro?

1. El punto más débil no fue el modelo, sino un SaaS cualquiera. Quien protege agentes y claves de API debería revisar igual de bien los permisos en las herramientas de RR. HH., CRM e IT.
2. La monitorización funcionó solo en parte. Según Anthropic, detectó parte de la actividad de Cathedral, no toda.
3. Los agentes acortan el tiempo de un ataque. Si una startup joven lo hizo en 12 horas, grupos menos amistosos probablemente también podrán.

Los pasos prácticos para nuestros propios agentes los describí en la guía de seguridad de agentes de IA.

FAQ

¿Cathedral hackeó Claude?

No. Según Anthropic y la prensa, los agentes entraron por aplicaciones empresariales externas, y las conversaciones con Claude, el código fuente y los pesos de los modelos no se vieron comprometidos.

¿Fue un ataque informático?

No, fue una investigación de seguridad autorizada dentro del programa de reporte de vulnerabilidades de Anthropic. La disputa es sobre si Cathedral cumplió todas sus reglas.

¿Se filtraron datos de los usuarios de Claude?

Según Anthropic, los investigadores llegaron a datos de contacto de algunos clientes y socios y a datos básicos de cuentas, pero no al contenido de las conversaciones. La empresa no tiene pruebas de que alguien más aprovechara las mismas brechas.