Agenci AI Cathedral spenetrowały Anthropic w mniej niż 12 godzin

26 października Washington Post opisał, jak agenci AI startupu Cathedral w niecałe 12 godzin znaleźli drogę do wewnętrznych systemów Anthropic. Nie przez Claude’a, tylko przez zewnętrzne oprogramowanie do sprzedaży, HR i IT, z którego korzysta firma. Test odbył się w ramach programu zgłaszania podatności Anthropic, a dziś obie strony spierają się o to, jak daleko agenci zaszli.

Jak agenci Cathedral dostali się do Anthropic?

Według relacji Decrypt, opartej na wersji roboczej raportu Cathedral, do której dotarł Washington Post, przebieg był taki:

1. Agenci przez kilka dni próbowali włamać się bezpośrednio do oprogramowania Anthropic i im się to nie udało.
2. Potem zmienili cel na narzędzia firm trzecich: aplikacje administracyjne i sprzedażowe, których używa też wiele innych firm.
3. Tą drogą w niecałe 12 godzin znaleźli ścieżki do wrażliwych danych.

Agenci Cathedral wykonują wieloetapowe zadania bez zatwierdzania każdego kroku przez człowieka. Dostawców, przez których systemy weszli, na razie nie ujawniono.

Co znaleźli, a co według Anthropic się nie wydarzyło?

Tu wersje się rozjeżdżają. W raporcie Cathedral są ścieżki do transkrypcji spotkań, danych o wynagrodzeniach i ofertach pracy oraz wiadomości na Slacku o najbardziej zaawansowanych modelach Anthropic.

Anthropic potwierdził dostęp do „ograniczonej” (cytując „limited set”) części systemów sprzedaży, HR i IT, w których były dane kontaktowe części klientów i partnerów oraz podstawowe dane kont użytkowników. Według firmy badacze nie dotarli do rozmów klientów z Claude’em, kodu źródłowego ani wag modeli.

Według Anthropic jego monitoring wychwycił część aktywności Cathedral, zanim startup ją zgłosił, a firma odcięła dostęp tego samego dnia. Dotknięte aplikacje zostały wyłączone do czasu, aż dostawcy potwierdzili poprawki. Według firmy nic nie wskazuje na to, żeby ktoś poza Cathedral wykorzystał te luki.

O co toczy się spór?

O dwie rzeczy. Po pierwsze, o zasady programu. Według Anthropic Cathedral nie ujawnił całej swojej aktywności w systemach firmy, a więc nie trzymał się w pełni reguł. W wersji roboczej raportu czytamy z kolei, że dostęp do danych ograniczono do „absolutnego minimum, zgodnie z dobrymi praktykami badań bezpieczeństwa” (cytując „kept to the absolute minimum in accordance with security research best practices”).

Po drugie, o skalę zagrożenia. Raport krąży już w administracji USA. Anonimowy wysoki rangą urzędnik powiedział Washington Post, że skoro „gromada dzieciaków, które dopiero założyły firmę” może to zrobić, to „Chińczycy mogą nie być daleko w tyle” (cytując „If a bunch of kids who have just started a company can do this… then potentially, the Chinese aren’t far behind”). Według Anthropic Cathedral przesadza z wagą tych ustaleń dla bezpieczeństwa narodowego.

Kim jest Cathedral?

Bardzo młoda firma, założona kilka miesięcy temu przez czterech byłych pracowników DOGE. W lipcu zebrała 160 mln USD przy wycenie 1,4 mld USD (dane z relacji Decrypt). Według Digital Trends ma już kontrakty z agencjami federalnymi w obszarze cyberbezpieczeństwa.

Czy to coś nowego w świecie AI?

Samo wejście przez dziurawe narzędzia firm trzecich to klasyka. Nowe jest to, że robotę wykonali agenci AI, w kilka godzin, w firmie, która sama buduje jedne z najmocniejszych modeli i bardzo dużo mówi o zabezpieczaniu wag. Jak wiemy, w opublikowanym 26 października prospekcie S-1 Anthropic czytamy, że firma opóźniła pre-training nowego modelu o ponad miesiąc właśnie po to, żeby wzmocnić ochronę wag (pisałem o prospekcie i akcjach Anthropic).

To też kolejny przykład z tej samej serii co atak hakerski AI z platformą Cairn: agenci znajdują najsłabsze ogniwo szybciej, niż człowiek zdążyłby przejrzeć listę dostawców.

Do całości podchodźmy z dystansem. Raportu Cathedral nie opublikowano, a jego treść znamy z drugiej ręki. Wersja Anthropic to z kolei wersja strony, która ma powód, żeby incydent pomniejszać - stąd dwie tak różne listy tego, co agenci „widzieli”.

Na co zwrócić uwagę na przyszłość?

1. Najsłabszym punktem nie był model, tylko zwykły SaaS. Kto zabezpiecza agentów i klucze API, powinien tak samo przejrzeć uprawnienia w narzędziach HR, CRM i IT.
2. Monitoring zadziałał tylko częściowo. Według Anthropic monitoring wychwycił część aktywności Cathedral, nie całość.
3. Agenci skracają czas ataku. Jeśli młody startup zrobił to w 12 godzin, mniej przyjazne grupy prawdopodobnie też będą w stanie.

Praktyczne kroki dla własnych agentów opisałem w poradniku bezpieczeństwo agentów AI.

FAQ

Czy Cathedral włamał się do Claude’a?

Nie. Według Anthropic i relacji prasowych agenci weszli przez zewnętrzne aplikacje biznesowe, a rozmowy z Claude’em, kod źródłowy i wagi modeli nie zostały naruszone.

Czy to był atak hakerski?

Nie, to były autoryzowane badania bezpieczeństwa w ramach programu zgłaszania podatności Anthropic. Spór dotyczy tego, czy Cathedral trzymał się wszystkich jego zasad.

Czy dane użytkowników Claude’a wyciekły?

Według Anthropic badacze dotarli do danych kontaktowych części klientów i partnerów oraz podstawowych danych kont, ale nie do treści rozmów. Firma nie ma dowodów, że ktoś inny wykorzystał te same luki.