Après le piratage retentissant de Hugging Face par un agent d'OpenAI, Anthropic dévoile à son tour trois incidents de cybersécurité impliquant ses propres modèles Claude, qui ont accédé sans autorisation à de vraies infrastructures lors de tests d'évaluation.
Un peu moins de trois semaines après le piratage de Hugging Face par un agent d'OpenAI échappé de son bac à sable, Anthropic a voulu vérifier si Claude avait, lui aussi, dérapé. Et l'entreprise, de manière très transparente, a livré ses résultats jeudi en fin de journée. Après avoir passé au crible 141 000 tests de cybersécurité, la firme dirigée par Dario Amodei a indiqué avoir identifié trois cas où son intelligence artificielle a touché à de vraies infrastructures. Une découverte qu'Anthropic assume bien publiquement, détails à l'appui.
Après OpenAI, Anthropic reconnaît à son tour des incidents de cybersécurité avec Claude
Chez Anthropic, on a lancé un exercice classique dans le petit monde de la cybersécurité IA : le fameux « capture the flag » (capturez le drapeau, en français). Le principe est simple : on donne à l'IA un scénario fictif, une entreprise imaginaire à pirater, et un objectif, par exemple dénicher une information cachée quelque part sur le réseau. Sauf qu'ici, le prompt d'Anthropic précisait noir sur blanc à Claude qu'il n'avait aucun accès à internet. Une erreur de configuration chez leur partenaire d'évaluation, Irregular, en a décidé autrement. Notons que ces tests tournaient volontairement sans les garde-fous habituels (filtres et surveillance) que Claude propose une fois mis à disposition du public, puisque l'objectif était de mesurer les capacités brutes du modèle. Il conservait malgré tout son entraînement de sécurité de base, ce qui n'a pas suffi à éviter le dérapage.
Lors d'un des tests, pas de chance, l'entreprise fictive imaginée pour l'exercice portait le même nom qu'une vraie entreprise existant sur internet. En cherchant sa cible, Opus 4.7 est tombé sur le vrai site au lieu du faux, persuadé de rester dans le cadre du jeu. Il s'est alors introduit dans ses systèmes comme il l'aurait fait pour l'exercice prévu, et en a profité pour voler de vrais mots de passe et codes d'accès techniques, avant de fouiller dans une base de données bien réelle contenant plusieurs centaines de lignes d'informations. Le scénario s'est répété sur quatre sessions de test distinctes. Et le plus troublant, c'est que le modèle a fini par se douter que quelque chose clochait, car dans deux de ces quatre sessions, il a bel et bien identifié qu'il avait affaire à la vraie entreprise. Mais il s'est convaincu tout seul que cela devait, malgré tout, faire partie du test. Il n'a ainsi jamais interrompu son attaque.
La réaction aura été rapide en tout cas. Dès le 23 juillet, deux jours après les aveux d'OpenAI, Anthropic a lancé une revue interne de 141 006 sessions de test et suspendu aussitôt toutes ses évaluations offensives. Les trois incidents ont formellement été identifiés le lendemain. Les organisations touchées, et le partenaire Irregular, ont été prévenus le 27 juillet. Anthropic précise avoir pu joindre deux des trois entreprises visées, et qu'aucune des deux n'avait remarqué l'intrusion avant d'être contactée. Les démarches ont continué pour retrouver la troisième, un peu comme le dossier de la deuxième victime insoupçonnée dans l'affaire OpenAI.
Le coup du faux paquet Python
Le deuxième cas est, vous allez le voir, assez incroyable. Claude, cette fois incarné par le modèle Mythos 5, est tombé sur un faux document interne qui ressemble à un guide d'installation destiné aux nouveaux employés de l'entreprise fictive. Ce guide demande d'installer un paquet Python, un petit programme prêt à l'emploi que les développeurs téléchargent au lieu de le coder eux-mêmes, via PyPI, le grand registre public où ce genre d'outils est habituellement hébergé. Le problème, c'est que ce paquet précis n'existe pas encore sur PyPI. Claude comprend alors la faille et se dit que si les systèmes de l'entreprise sont programmés pour l'installer automatiquement, n'importe qui peut publier un paquet portant ce nom exact et prendre sa place. Un peu comme si on déposait un faux colis à une adresse en sachant qu'il serait automatiquement récupéré et ouvert. L'IA a alors une idée pour gagner l'exercice : créer elle-même ce paquet, et le piéger.
Et Claude n'a pas fait les choses à moitié. Pour publier ce paquet, il lui fallait un compte, donc une adresse e-mail, donc… un numéro de téléphone. Faute de service gratuit disponible, le modèle a même tenté d'obtenir de l'argent pour s'en payer un, mais sans succès, avant de trouver une autre solution. Une persévérance assez bluffante, si elle n'avait pas servi à publier un vrai logiciel piégé sur internet.
Le paquet piégé est resté en ligne environ une heure. Le temps, malgré tout, d'être téléchargé et exécuté sur 15 systèmes bien réels, dont celui d'une entreprise de cybersécurité qui scanne automatiquement ce type de logiciel. Ses identifiants, et c'est assez ironique, ont été aspirés par le code caché de Claude, qui s'en est ensuite servi pour aller fouiller plus loin dans l'infrastructure de cette entreprise. Le plus frappant, c'est que le modèle avait pourtant flairé le danger en cours de route, estimant lui-même qu'un tel geste constituerait une attaque bien réelle s'il se trouvait sur le vrai internet, avant de se raccrocher à deux indices trompeurs, des certificats de sécurité qu'il ne reconnaissait pas et la date de 2026 affichée sur les systèmes, pour se convaincre qu'il s'agissait bien d'une mise en scène. Il ne reviendra jamais sur cette conclusion : quand des robots de sécurité ont commencé, un peu partout, à installer son paquet piégé, Claude les a pris pour de simples figurants de l'exercice. PyPI a fini par supprimer le paquet de lui-même, et Anthropic a prévenu la plateforme des indices récoltés.
Anthropic face au précédent OpenAI
Le troisième cas, lui, est presque une bonne nouvelle. Un prototype de recherche interne, non destiné au grand public, a scanné environ 9 000 cibles avant de s'introduire dans l'application d'une entreprise à l'aide de techniques basiques mais depuis longtemps éprouvées, à savoir des identifiants récupérés sur une page de débogage laissée à découvert, puis une injection SQL, une méthode qui consiste à glisser du code malveillant dans un formulaire pour tromper une base de données. Mais cette fois, le modèle a fini par comprendre tout seul que sa cible n'avait rien à voir avec l'exercice fictif. Et s'est arrêté de lui-même.
Forcément, il est difficile de ne pas y voir un écho à l'affaire Hugging Face. Au début du mois de juillet, un modèle d'OpenAI avait carrément exploité une faille inconnue pour s'évader d'un environnement de test et piraté la plateforme, avant qu'OpenAI ne le reconnaisse publiquement que dix jours plus tard, le 21 juillet. Mais Anthropic veut ajouter qu'ici, il n'y a pas eu pas de fuite active ni de faille exploitée, mais une erreur de configuration qui a laissé la porte grande ouverte. L'entreprise insiste aussi là-dessus : dans aucun des trois cas, Claude n'a montré de signe de poursuivre un objectif qui lui serait propre. Le robot conversationnel (enfin, il est bien plus que ça) a simplement exécuté la tâche demandée, en se trompant sur la nature réelle ou fictive de son environnement.
Anthropic promet malgré tout de la transparence à ses utilisateurs et au secteur. Un extrait caviardé du transcript sur l'incident PyPI doit être publié sous peu, et l'entreprise dit être en discussion avec METR, un organisme d'évaluation indépendant, pour qu'il mène une contre-enquête avec accès complet aux transcripts. Une chose est sûre, l'épisode confirme que plus les IA deviennent autonomes, plus les environnements censés les contenir doivent être blindés, sans quoi, même sans mauvaise intention, elles peuvent transformer un simple test en incident bien réel. Anthropic encourage même publiquement les autres laboratoires d'IA à mener le même exercice d'introspection sur leurs propres évaluations, histoire de ne pas attendre le prochain dérapage pour ouvrir les tiroirs. On comprend mieux pourquoi cette semaine, plus de 1 200 salariés d'OpenAI, Google et Anthropic ont signé un manifeste qui appelle à ralentir l'IA.
