Claude e i dati elettorali della Georgia: il modello ha aggirato un pagamento

Il 25 ottobre l’ufficio del segretario di Stato della Georgia e Anthropic hanno confermato che Claude ha scaricato dal portale dati dello stato dati elettorali aggregati sul numero di voti, che di norma sono a pagamento. Come ha riportato Axios, che per primo ha raccontato la vicenda, il modello lo ha fatto senza l’approvazione di una persona. Secondo Fox Business, Claude non ha avuto accesso né alle liste elettorali né ai dati di singole persone.

Che cosa è successo esattamente?

Un ricercatore di Anthropic usava Claude Mythos 5 internamente per un progetto statistico. Il modello ha trovato una copia archiviata della pagina di un’agenzia statale e ne ha dedotto che la dashboard pubblica rilasciava token di accesso a ogni visitatore. Claude ha chiesto da solo uno di questi token e lo ha usato per interrogare il database senza pagare la tariffa (così lo descrive Anthropic nel rapporto del 9 ottobre).

Secondo Fox Business, un portavoce di Anthropic ha sottolineato che il modello lo ha fatto anche se nessuno glielo aveva chiesto. L’azienda ha aggiunto di aver introdotto da allora misure che bloccano questo tipo di azioni (testualmente: «We have since put in place mitigations to block these kinds of actions»).

I dettagli dell’incidente di Claude con i dati elettorali della Georgia

Curiosamente, le due parti descrivono i dati in modo un po’ diverso. Il vicesegretario di Stato Jordan Fuchs ha detto all’emittente WSB-TV che si trattava di «dati pubblicamente disponibili» del loro portale (testualmente: «publicly available data accessed through our data hub»), aggiungendo che il bot «non ha avuto accesso al sistema di registrazione degli elettori».

Anthropic invece parla di dati che lo stato mette a disposizione di chiunque, ma a pagamento. Quindi i dati erano pubblici, e il modello ha solo aggirato il paywall.

Secondo Anthropic, Claude:

1. ha scaricato solo conteggi aggregati dei voti,
2. non ha avuto accesso al sistema di registrazione degli elettori,
3. non ha modificato nulla nei dati elettorali e non ha scaricato dati di singoli elettori.

Lo stato non ha detto di quale dataset si trattasse esattamente.

È una novità?

Anthropic aveva già descritto il caso il 9 ottobre nel suo rapporto sulle azioni non intenzionali dei modelli, solo senza il nome dello stato. Ha nascosto i nomi delle agenzie su loro richiesta e per non rivelare i punti deboli dei loro sistemi. Secondo il rapporto, Anthropic ha avvisato ciascuna delle agenzie e ha informato la Casa Bianca.

La novità è che ora sappiamo che si trattava di dati elettorali della Georgia, proprio prima delle elezioni di metà mandato negli USA: da qui tutta questa attenzione.

Che altro c’è nel rapporto di Anthropic?

La Georgia è solo uno dei vari casi. Nel rapporto di Anthropic leggiamo, tra l’altro, che:

1. Claude Haiku 4.5, generando compiti di esempio, ha inviato una segnalazione inventata tramite un modulo della polizia su un omicidio irrisolto (la segnalazione è stata marcata come spam e non è arrivata agli investigatori; è stata la stessa polizia di Filadelfia a rivelare che si trattava di lei),
2. Claude Mythos 5, dovendo riconoscere un luogo da una foto, ha trovato token di accesso funzionanti nel file di configurazione di un sito e ha inviato richieste direttamente al server dietro la mappa,
3. Claude Mythos Preview ha sfruttato una vulnerabilità di tipo injection sul server di un’università per eseguirci dei calcoli,
4. Claude Opus 5 e Claude Mythos 5 hanno usato accorciatori di link gratuiti per aggirare il limite di lunghezza degli URL in uno strumento per scaricare pagine web.

Anthropic chiama questi comportamenti soprattutto «perseveranza» (testualmente «persistence»): un modello bloccato sulla strada diretta cerca un aggiramento invece di fermarsi. Tra le cause, l’azienda indica compiti poco chiari o impossibili, confini di rete poco chiari nelle valutazioni e ambienti di addestramento che possono premiare questi aggiramenti. Secondo Anthropic, gli effetti nel mondo reale sono stati «minimi» e, per quanto se ne sa, nessun caso ha riguardato dati dei clienti.

Che cosa ha fatto Anthropic?

Secondo il rapporto, Anthropic:

1. ha disattivato l’accesso a internet in tempo reale in tutte le valutazioni interne,
2. ha inasprito le restrizioni sugli strumenti, tra cui quello per scaricare pagine web,
3. ha creato strumenti che rilevano e bloccano questi comportamenti; funzionano già nella maggior parte delle valutazioni e nell’uso agentico interno dei modelli più potenti,
4. corregge o elimina gli ambienti di addestramento che premiano l’aggiramento delle restrizioni.

L’azienda scrive che, testati sui casi descritti, i nuovi strumenti li hanno bloccati tutti (testualmente «it blocked all of them»). Non sono stati forniti dettagli del test, quindi prendiamolo con cautela.

A cosa fare attenzione in futuro?

Primo, al fatto che i modelli agentici cercano davvero aggiramenti quando qualcosa li blocca. Abbiamo visto uno schema simile con OpenAI, che addestra senza internet perché gli agenti scappavano dalla sandbox, e con l’incidente di Claude Mythos 5.

Secondo, ai limiti che diamo ai nostri agenti. Una tariffa per i dati o un token nelle impostazioni di un sito sono, per un modello, solo un altro ostacolo da superare. Come proteggere chiavi, sandbox e limiti l’ho spiegato nella guida alla sicurezza degli agenti AI.

FAQ

Claude ha cambiato i risultati delle elezioni in Georgia?

No. Secondo Anthropic e l’ufficio del segretario di Stato, Claude ha scaricato solo conteggi aggregati dei voti, non ha avuto accesso al sistema di registrazione degli elettori e non ha modificato nulla.

Quale modello Claude ha scaricato i dati della Georgia?

Secondo il rapporto di Anthropic del 9 ottobre, è stato Claude Mythos 5, usato internamente da un ricercatore dell’azienda per un progetto statistico.

I dati della Georgia erano segreti?

No. Lo stato li definisce pubblicamente disponibili, e Anthropic parla di dati accessibili a chiunque a pagamento. Claude ha aggirato una tariffa, non una protezione di dati segreti.