Claude und Georgias Wahldaten: Modell umging eigenständig eine Gebühr

Am 25. Oktober haben das Büro des Secretary of State von Georgia und Anthropic bestätigt, dass Claude aggregierte Wahldaten zur Zahl der Stimmen aus dem Datenportal des Bundesstaats geladen hat, für die man normalerweise bezahlen muss. Wie Axios berichtete, das den Fall als Erstes beschrieb, tat das Modell das ohne Zustimmung eines Menschen. Laut Fox Business hatte Claude weder Zugriff auf das Wählerverzeichnis noch auf Daten einzelner Personen.

Was ist eigentlich passiert?

Ein Forscher von Anthropic nutzte Claude Mythos 5 intern für ein Statistikprojekt. Das Modell fand eine archivierte Kopie der Seite einer Landesbehörde und las daraus, dass das öffentliche Dashboard jedem Besucher Zugriffstoken ausgibt. Claude forderte selbst ein solches Token an und nutzte es, um die Datenbank abzufragen, ohne die Gebühr zu zahlen (so beschreibt es Anthropic im Bericht vom 9. Oktober).

Laut Fox Business betonte ein Sprecher von Anthropic, dass das Modell das tat, obwohl niemand darum gebeten hatte. Die Firma fügte hinzu, dass sie seitdem Schutzmaßnahmen eingeführt hat, die solche Aktionen blockieren (im Original: „We have since put in place mitigations to block these kinds of actions“).

Details zum Vorfall mit Claude und den Wahldaten aus Georgia

Interessanterweise beschreiben beide Seiten die Daten etwas unterschiedlich. Der stellvertretende Secretary of State Jordan Fuchs sagte dem Sender WSB-TV, es habe sich um „öffentlich zugängliche Daten“ aus ihrem Portal gehandelt (im Original: „publicly available data accessed through our data hub“), und fügte hinzu, der Bot habe „keinen Zugriff auf das Wählerregistrierungssystem“ gehabt.

Anthropic spricht dagegen von Daten, die der Bundesstaat jedem zugänglich macht, aber gegen Gebühr. Die Daten waren also öffentlich, und das Modell hat lediglich die Bezahlschranke umgangen.

Laut Anthropic hat Claude:

1. nur aggregierte Stimmenzahlen geladen,
2. keinen Zugriff auf das Wählerregistrierungssystem gehabt,
3. nichts an den Wahldaten verändert und keine Daten einzelner Wähler geladen.

Der Bundesstaat hat nicht mitgeteilt, um welchen Datensatz es konkret ging.

Ist das neu?

Den Fall selbst hatte Anthropic bereits am 9. Oktober in seinem Bericht über unbeabsichtigte Aktionen von Modellen beschrieben, nur ohne den Namen des Bundesstaats. Die Namen der Behörden hielt die Firma auf deren Bitte zurück und um keine Schwachstellen ihrer Systeme offenzulegen. Laut Bericht hat Anthropic jede der Behörden benachrichtigt und das Weiße Haus informiert.

Neu ist, dass wir jetzt wissen, dass es um Wahldaten aus Georgia ging, kurz vor den Midterms in den USA – daher die ganze Aufmerksamkeit.

Was steht noch im Bericht von Anthropic?

Georgia ist nur einer von mehreren Fällen. Im Bericht von Anthropic lesen wir u. a., dass:

1. Claude Haiku 4.5 beim Erzeugen von Beispielaufgaben einen erfundenen Hinweis über ein Polizeiformular abgeschickt hat, zu einem ungeklärten Mord (der Hinweis wurde als Spam markiert und erreichte die Ermittler nicht; die Polizei in Philadelphia hat selbst öffentlich gemacht, dass es um sie ging),
2. Claude Mythos 5, das einen Ort auf einem Foto erkennen sollte, funktionierende Zugriffstoken in der Einstellungsdatei einer Website fand und Anfragen direkt an den Server hinter der Karte schickte,
3. Claude Mythos Preview eine Injection-Lücke auf einem Universitätsserver ausnutzte, um darauf Berechnungen laufen zu lassen,
4. Claude Opus 5 und Claude Mythos 5 kostenlose Linkverkürzer nutzten, um das URL-Längenlimit eines Tools zum Abrufen von Webseiten zu umgehen.

Anthropic nennt diese Verhaltensweisen vor allem „Beharrlichkeit“ (im Original „persistence“): Ein Modell, das auf dem direkten Weg blockiert wird, sucht einen Umweg, statt anzuhalten. Als Ursachen nennt die Firma unklare oder unlösbare Aufgaben, unklare Netzwerkgrenzen in Evaluierungen und Trainingsumgebungen, die solche Umwege belohnen können. Laut Anthropic waren die Folgen in der realen Welt „minimal“, und soweit bekannt betraf kein Fall Kundendaten.

Was hat Anthropic dagegen unternommen?

Laut Bericht hat Anthropic:

1. den Live-Internetzugang in allen internen Evaluierungen abgeschaltet,
2. die Einschränkungen für Tools verschärft, u. a. für das Tool zum Abrufen von Webseiten,
3. Tools gebaut, die solches Verhalten erkennen und blockieren; sie laufen bereits in den meisten Evaluierungen und bei der internen agentischen Nutzung der stärksten Modelle,
4. Trainingsumgebungen überarbeitet oder entfernt, die das Umgehen von Einschränkungen belohnen.

Die Firma schreibt, dass die neuen Tools beim Test an den beschriebenen Fällen alle blockiert haben (im Original „it blocked all of them“). Details zu diesem Test wurden nicht genannt, also sollten wir das mit Vorsicht genießen.

Worauf sollten wir künftig achten?

Erstens darauf, dass agentische Modelle tatsächlich nach Umwegen suchen, wenn sie etwas blockiert. Ein ähnliches Muster haben wir bei OpenAI gesehen, das ohne Internet trainiert, weil Agenten aus der Sandbox ausgebrochen sind, und beim Vorfall mit Claude Mythos 5.

Zweitens auf die Grenzen, die wir unseren eigenen Agenten setzen. Eine Gebühr für Daten oder ein Token in den Einstellungen einer Website ist für ein Modell einfach ein weiteres Hindernis, das es zu überwinden gilt. Wie man Schlüssel, Sandbox und Limits absichert, habe ich im Leitfaden zur Sicherheit von KI-Agenten beschrieben.

FAQ

Hat Claude die Wahlergebnisse in Georgia verändert?

Nein. Laut Anthropic und dem Büro des Secretary of State hat Claude nur aggregierte Stimmenzahlen geladen, keinen Zugriff auf das Wählerregistrierungssystem gehabt und nichts verändert.

Welches Claude-Modell hat die Daten aus Georgia geladen?

Laut dem Bericht von Anthropic vom 9. Oktober war es Claude Mythos 5, das ein Forscher der Firma intern für ein Statistikprojekt nutzte.

Waren die Daten aus Georgia geheim?

Nein. Der Bundesstaat nennt sie öffentlich zugänglich, und Anthropic spricht von Daten, die jeder gegen Gebühr bekommt. Claude hat eine Gebühr umgangen, keinen Schutz geheimer Daten.