Attacco ad Anthropic: gli agenti IA di Cathedral sono entrati in meno di 12 ore

Il 26 ottobre il Washington Post ha raccontato come gli agenti IA della startup Cathedral abbiano trovato in meno di 12 ore una strada verso i sistemi interni di Anthropic. Non attraverso Claude, ma attraverso il software esterno di vendite, HR e IT usato dall’azienda. L’attacco ad Anthropic da parte di Cathedral era un test nell’ambito del programma di segnalazione delle vulnerabilità di Anthropic, e oggi le due parti discutono su quanto lontano siano arrivati gli agenti.

Come sono entrati in Anthropic gli agenti di Cathedral?

Secondo la ricostruzione di Decrypt, basata su una bozza del rapporto di Cathedral ottenuta dal Washington Post, è andata così:

1. Per diversi giorni gli agenti hanno provato a entrare direttamente nel software di Anthropic, senza riuscirci.
2. Poi hanno cambiato obiettivo, puntando su strumenti di terze parti: app amministrative e di vendita usate anche da molte altre aziende.
3. Per questa via, in meno di 12 ore, hanno trovato percorsi verso dati sensibili.

Gli agenti di Cathedral eseguono compiti in più passaggi senza che una persona approvi ogni singolo passo. I fornitori attraverso i cui sistemi sono entrati non sono ancora stati resi noti.

Cosa hanno trovato, e cosa secondo Anthropic non è successo?

Qui le versioni divergono. Nel rapporto di Cathedral ci sono percorsi verso trascrizioni di riunioni, dati sugli stipendi e offerte di lavoro, oltre a messaggi su Slack sui modelli più avanzati di Anthropic.

Anthropic ha confermato l’accesso a una parte “limitata” (in originale “limited set”) dei suoi sistemi di vendite, HR e IT, che contenevano i contatti di alcuni clienti e partner e dati di base degli account utente. Secondo l’azienda, i ricercatori non hanno raggiunto le conversazioni dei clienti con Claude, il codice sorgente né i pesi dei modelli.

Secondo Anthropic, il suo monitoraggio ha intercettato parte dell’attività di Cathedral prima che la startup la segnalasse, e l’azienda ha tagliato l’accesso lo stesso giorno. Le app coinvolte sono state disattivate finché i fornitori non hanno confermato le correzioni. Secondo l’azienda, nulla indica che qualcuno oltre a Cathedral abbia sfruttato queste falle.

Su cosa verte la disputa?

Su due cose. Primo, sulle regole del programma. Secondo Anthropic, Cathedral non ha dichiarato tutta la propria attività nei sistemi dell’azienda, e quindi non ha rispettato del tutto le regole. Nella bozza del rapporto si legge invece che l’accesso ai dati è stato limitato al “minimo assoluto, in linea con le buone pratiche della ricerca sulla sicurezza” (in originale “kept to the absolute minimum in accordance with security research best practices”).

Secondo, sulla portata della minaccia. Il rapporto circola già nell’amministrazione USA. Un alto funzionario anonimo ha detto al Washington Post che se “un gruppo di ragazzini che hanno appena fondato un’azienda” può farlo, allora “i cinesi potrebbero non essere molto indietro” (in originale “If a bunch of kids who have just started a company can do this… then potentially, the Chinese aren’t far behind”). Secondo Anthropic, Cathedral esagera l’importanza di queste scoperte per la sicurezza nazionale.

Chi è Cathedral?

Un’azienda giovanissima, fondata pochi mesi fa da quattro ex dipendenti del DOGE. A luglio ha raccolto 160 milioni di USD con una valutazione di 1,4 miliardi di USD (dati dalla ricostruzione di Decrypt). Secondo Digital Trends, ha già contratti di cybersicurezza con agenzie federali.

È qualcosa di nuovo nel mondo dell’IA?

Entrare da strumenti di terze parti pieni di falle è un classico. La novità è che il lavoro l’hanno fatto agenti IA, in poche ore, in un’azienda che costruisce alcuni dei modelli più potenti e parla moltissimo di protezione dei pesi. Come sappiamo, nel prospetto S-1 pubblicato da Anthropic il 26 ottobre si legge che l’azienda ha rinviato di oltre un mese il pre-training di un nuovo modello proprio per rafforzare la protezione dei pesi (ho scritto del prospetto e delle azioni Anthropic).

È anche un altro esempio della stessa serie dell’attacco hacker con IA sulla piattaforma Cairn: gli agenti trovano l’anello più debole più in fretta di quanto una persona riuscirebbe a scorrere l’elenco dei fornitori.

Prendiamo il tutto con cautela. Il rapporto di Cathedral non è stato pubblicato e il suo contenuto lo conosciamo di seconda mano. La versione di Anthropic, a sua volta, è quella della parte che ha un motivo per ridimensionare l’incidente - da qui due elenchi così diversi di ciò che gli agenti hanno “visto”.

A cosa fare attenzione in futuro?

1. Il punto più debole non era il modello, ma un normale SaaS. Chi protegge agenti e chiavi API dovrebbe controllare con la stessa attenzione i permessi negli strumenti HR, CRM e IT.
2. Il monitoraggio ha funzionato solo in parte. Secondo Anthropic, ha intercettato parte dell’attività di Cathedral, non tutta.
3. Gli agenti accorciano i tempi di un attacco. Se una giovane startup ce l’ha fatta in 12 ore, gruppi meno amichevoli probabilmente ne saranno capaci anche loro.

I passi pratici per i nostri agenti li ho descritti nella guida sulla sicurezza degli agenti AI.

FAQ

Cathedral ha hackerato Claude?

No. Secondo Anthropic e la stampa, gli agenti sono entrati da app aziendali esterne, e le conversazioni con Claude, il codice sorgente e i pesi dei modelli non sono stati compromessi.

È stato un attacco hacker?

No, era una ricerca di sicurezza autorizzata nell’ambito del programma di segnalazione delle vulnerabilità di Anthropic. La disputa riguarda il rispetto di tutte le sue regole da parte di Cathedral.

Sono trapelati dati degli utenti di Claude?

Secondo Anthropic, i ricercatori hanno raggiunto i contatti di alcuni clienti e partner e dati di base degli account, ma non il contenuto delle conversazioni. L’azienda non ha prove che qualcun altro abbia sfruttato le stesse falle.