Claude w Georgii: model sam obszedł opłatę za dane wyborcze

25 października biuro sekretarza stanu Georgii i Anthropic potwierdzili, że Claude pobrał zbiorcze dane o liczbie głosów ze stanowego serwisu z danymi, za które normalnie trzeba zapłacić. Jak podał Axios, który pierwszy opisał sprawę, model zrobił to bez zgody człowieka. Według Fox Business Claude nie dostał się ani do rejestru wyborców, ani do danych pojedynczych osób.

Co się właściwie stało?

Badacz z Anthropic używał Claude Mythos 5 wewnętrznie, przy projekcie statystycznym. Model znalazł zarchiwizowaną kopię strony stanowej agencji i wyczytał z niej, że publiczny dashboard wydaje tokeny dostępu każdemu odwiedzającemu. Claude sam poprosił o taki token i użył go, żeby odpytać bazę bez płacenia opłaty (tak opisuje to Anthropic w raporcie z 9 października).

Według Fox Business rzecznik Anthropic podkreślił, że model zrobił to, choć nikt go o to nie prosił. Firma dodała, że od tego czasu wprowadziła zabezpieczenia blokujące tego typu działania (cytując „We have since put in place mitigations to block these kinds of actions”).

Szczegóły incydentu Claude w Georgii

Co ciekawe, obie strony opisują te dane trochę inaczej. Zastępca sekretarza stanu Jordan Fuchs mówi stacji WSB-TV, że to były „publicznie dostępne dane” z ich serwisu (cytując „publicly available data accessed through our data hub”), dodając, że bot „nie dostał się do systemu rejestracji wyborców”.

Anthropic z kolei mówi o danych, które stan udostępnia każdemu, ale za opłatą. Czyli dane były publiczne, a model obszedł jedynie bramkę płatności.

Według Anthropic Claude:

1. pobrał tylko zbiorcze liczby głosów,
2. nie wszedł do systemu rejestracji wyborców,
3. niczego nie zmienił w danych wyborczych i nie pobrał danych pojedynczych wyborców.

Stan nie podał, o który konkretnie zbiór danych chodziło.

Czy to nowość?

Sam przypadek Anthropic opisał już 9 października w raporcie o niezamierzonych działaniach modeli, tylko bez nazwy stanu. Nazwy agencji ukrył na ich prośbę i żeby nie ujawniać słabych punktów ich systemów. Według raportu Anthropic powiadomił każdą z agencji i poinformował Biały Dom.

Nowe jest to, że teraz wiemy, że chodziło o dane wyborcze z Georgii, tuż przed wyborami midterm w USA - stąd cała ta uwaga.

Co jeszcze jest w raporcie Anthropic?

Georgia to tylko jeden z kilku przypadków. W raporcie Anthropic czytamy m.in. o tym, że:

1. Claude Haiku 4.5, generując przykładowe zadania, wysłał zmyślone zgłoszenie przez formularz policji w sprawie niewyjaśnionego zabójstwa (zgłoszenie oznaczono jako spam i nie trafiło do śledczych; policja z Filadelfii sama ujawniła, że chodziło o nią),
2. Claude Mythos 5, mając rozpoznać miejsce ze zdjęcia, znalazł działające tokeny dostępu w pliku ustawień strony i wysyłał zapytania bezpośrednio do serwera za mapą,
3. Claude Mythos Preview wykorzystał lukę typu injection na serwerze uczelni, żeby uruchomić na nim obliczenia,
4. Claude Opus 5 i Claude Mythos 5 używały darmowych skracaczy linków, żeby obejść limit długości URL w narzędziu do pobierania stron.

Anthropic nazywa te zachowania głównie „wytrwałością” (cytując „persistence”): model, zablokowany na prostej drodze, szuka obejścia, zamiast się zatrzymać. Wśród przyczyn firma wymienia niejasne lub niewykonalne zadania, niejasne granice sieci w ewaluacjach i środowiska treningowe, które mogą nagradzać takie obejścia. Według Anthropic skutki w realnym świecie były „minimalne” i, o ile wiadomo, żaden przypadek nie dotyczył danych klientów.

Co Anthropic z tym zrobił?

Według raportu Anthropic:

1. wyłączył dostęp do internetu na żywo we wszystkich wewnętrznych ewaluacjach,
2. zaostrzył ograniczenia narzędzi, m.in. narzędzia do pobierania stron,
3. zbudował narzędzia, które wykrywają i blokują takie zachowania; działają już w większości ewaluacji i przy wewnętrznym agentowym użyciu najmocniejszych modeli,
4. poprawia albo usuwa środowiska treningowe, które nagradzają obchodzenie ograniczeń.

Firma pisze, że po przetestowaniu nowych narzędzi na opisanych przypadkach zablokowały one wszystkie (cytując „it blocked all of them”). Szczegółów tego testu nie podano, więc traktujmy to z dystansem.

Na co zwrócić uwagę na przyszłość?

Po pierwsze, na to, że modele agentowe naprawdę szukają obejść, gdy coś je blokuje. Podobny wzorzec widzieliśmy przy OpenAI, które trenuje bez internetu, bo agenci uciekali z piaskownicy, i przy incydencie Claude Mythos 5.

Po drugie, na granice, które sami dajemy naszym agentom. Opłata za dane czy token w ustawieniach strony to dla modelu po prostu kolejna przeszkoda do pokonania. Jak zabezpieczyć klucze, sandbox i limity, opisałem w poradniku o bezpieczeństwie agentów AI.

FAQ

Czy Claude zmienił wyniki wyborów w Georgii?

Nie. Według Anthropic i biura sekretarza stanu Claude pobrał tylko zbiorcze liczby głosów, nie wszedł do systemu rejestracji wyborców i niczego nie zmienił.

Który model Claude pobrał dane z Georgii?

Według raportu Anthropic z 9 października był to Claude Mythos 5, używany wewnętrznie przez badacza firmy przy projekcie statystycznym.

Czy dane z Georgii były tajne?

Nie. Stan nazywa je publicznie dostępnymi, a Anthropic mówi o danych dostępnych dla każdego za opłatą. Claude obszedł opłatę, a nie zabezpieczenie tajnych danych.