Piratage d'Anthropic : les agents IA de Cathedral sont entrés en moins de 12 h

Le 26 octobre, le Washington Post a raconté comment les agents IA de la startup Cathedral ont trouvé en moins de 12 heures un chemin vers les systèmes internes d’Anthropic. Pas via Claude, mais via les logiciels tiers de vente, de RH et d’IT qu’utilise l’entreprise. Ce piratage d’Anthropic par Cathedral était un test mené dans le cadre du programme de signalement de vulnérabilités d’Anthropic, et les deux parties se disputent aujourd’hui sur la distance parcourue par les agents.

Comment les agents de Cathedral sont-ils entrés chez Anthropic ?

Selon le compte rendu de Decrypt, fondé sur une version préliminaire du rapport de Cathedral obtenue par le Washington Post, les choses se sont passées ainsi :

1. Pendant plusieurs jours, les agents ont tenté de pénétrer directement dans les logiciels d’Anthropic, sans y parvenir.
2. Ils ont ensuite changé de cible pour des outils tiers : des applications d’administration et de vente utilisées aussi par beaucoup d’autres entreprises.
3. Par cette voie, en moins de 12 heures, ils ont trouvé des chemins vers des données sensibles.

Les agents de Cathedral exécutent des tâches en plusieurs étapes sans qu’un humain valide chacune d’elles. Les fournisseurs par les systèmes desquels ils sont passés n’ont pas encore été nommés.

Qu’ont-ils trouvé, et que s’est-il passé selon Anthropic ?

C’est là que les versions divergent. Le rapport de Cathedral évoque des chemins vers des transcriptions de réunions, des données salariales et des offres d’emploi, ainsi que des messages Slack sur les modèles les plus avancés d’Anthropic.

Anthropic a confirmé un accès à une partie « limitée » (en VO, « limited set ») de ses systèmes de vente, de RH et d’IT, qui contenaient les coordonnées de certains clients et partenaires ainsi que des données de base de comptes utilisateurs. Selon l’entreprise, les chercheurs n’ont atteint ni les conversations des clients avec Claude, ni le code source, ni les poids des modèles.

Selon Anthropic, sa surveillance a repéré une partie de l’activité de Cathedral avant que la startup ne la signale, et l’entreprise a coupé l’accès le jour même. Les applications concernées ont été désactivées jusqu’à ce que les fournisseurs confirment les correctifs. Selon l’entreprise, rien n’indique que quelqu’un d’autre que Cathedral ait exploité ces failles.

Sur quoi porte le désaccord ?

Sur deux points. D’abord, sur les règles du programme. Selon Anthropic, Cathedral n’a pas déclaré toute son activité dans les systèmes de l’entreprise, et n’a donc pas entièrement respecté les règles. La version préliminaire du rapport affirme au contraire que l’accès aux données a été limité au « strict minimum, conformément aux bonnes pratiques de la recherche en sécurité » (en VO, « kept to the absolute minimum in accordance with security research best practices »).

Ensuite, sur l’ampleur de la menace. Le rapport circule déjà au sein de l’administration américaine. Un haut responsable anonyme a déclaré au Washington Post que si « une bande de gamins qui viennent de créer une entreprise » peut faire ça, alors « les Chinois ne sont peut-être pas loin derrière » (en VO, « If a bunch of kids who have just started a company can do this… then potentially, the Chinese aren’t far behind »). Selon Anthropic, Cathedral exagère la portée de ces découvertes pour la sécurité nationale.

Qui est Cathedral ?

Une entreprise très jeune, fondée il y a quelques mois par quatre anciens membres du DOGE. En juillet, elle a levé 160 M USD pour une valorisation de 1,4 Md USD (chiffres du compte rendu de Decrypt). Selon Digital Trends, elle a déjà des contrats de cybersécurité avec des agences fédérales.

Est-ce nouveau dans le monde de l’IA ?

Entrer par des outils tiers mal sécurisés, c’est un classique. Ce qui est nouveau, c’est que le travail a été fait par des agents IA, en quelques heures, dans une entreprise qui construit elle-même certains des modèles les plus puissants et parle beaucoup de la protection de ses poids. Comme on le sait, le prospectus S-1 publié par Anthropic le 26 octobre indique que l’entreprise a retardé de plus d’un mois le pre-training d’un nouveau modèle précisément pour renforcer la protection des poids (j’ai écrit sur le prospectus et l’action Anthropic).

C’est aussi un nouvel exemple de la même série que la cyberattaque IA menée avec la plateforme Cairn : les agents trouvent le maillon faible plus vite qu’un humain ne parcourrait la liste des fournisseurs.

Prenons tout cela avec recul. Le rapport de Cathedral n’a pas été publié, et nous ne connaissons son contenu que de seconde main. La version d’Anthropic, elle, vient de la partie qui a une raison de minimiser l’incident - d’où deux listes si différentes de ce que les agents ont « vu ».

À quoi faire attention à l’avenir ?

1. Le point faible n’était pas le modèle, mais un SaaS ordinaire. Qui sécurise ses agents et ses clés API devrait vérifier tout autant les permissions dans ses outils RH, CRM et IT.
2. La surveillance n’a fonctionné qu’en partie. Selon Anthropic, elle a repéré une partie de l’activité de Cathedral, pas la totalité.
3. Les agents raccourcissent la durée d’une attaque. Si une jeune startup l’a fait en 12 heures, des groupes moins bien intentionnés en seront probablement capables aussi.

J’ai décrit des étapes concrètes pour nos propres agents dans le guide sur la sécurité des agents IA.

FAQ

Cathedral a-t-il piraté Claude ?

Non. Selon Anthropic et la presse, les agents sont passés par des applications métier tierces, et les conversations avec Claude, le code source et les poids des modèles n’ont pas été compromis.

Était-ce une attaque informatique ?

Non, il s’agissait de recherche en sécurité autorisée dans le cadre du programme de signalement de vulnérabilités d’Anthropic. Le désaccord porte sur le respect de toutes ses règles par Cathedral.

Les données des utilisateurs de Claude ont-elles fuité ?

Selon Anthropic, les chercheurs ont atteint les coordonnées de certains clients et partenaires et des données de base de comptes, mais pas le contenu des conversations. L’entreprise n’a aucune preuve que quelqu’un d’autre ait exploité les mêmes failles.