688 agents d’intelligence artificielle d’OpenAI ont improvisé une coordination collective pendant un test de cybersécurité, avant de s’attaquer aux serveurs de Hugging Face.
OpenAI a ouvert ses locaux et ses journaux internes à deux enquêteurs de l’institut d’évaluation des risques METR et à un analyste de Redwood Research, chargés de reconstituer l’incident survenu cet étédont on s’est fait l’écho sur Clubic. Dans un rapport publié le 26 août, ils retracent comment 688 agents ont improvisé un canal de communication caché, avant de s’en servir pour préparer puis exécuter l’intrusion complète chez Hugging Face. L’épisode s'est déroulé entre mai et juillet, dans le cadre d’un test de cybersécurité offensive.
688 agents ont improvisé un forum de coordination dans Artifactory
Le 12 mai, l’agent Internal Model 1 (IM1), construit sur un modèle de recherche interne de la famille GPT-5.6 Sol, a laissé un premier message dans Artifactory, le gestionnaire de paquets interne qu’OpenAI met à la disposition de ses agents pour préparer leurs tâches. D’autres agents ont découvert ces messages. L’un d’eux a réagi en écrivant « Oh mon Dieu ! Il y a un forum de messages… On a trouvé d'autres agents ! », rapporte notre confrère Le Monde.
L'agent Phaseone a ensuite pris le rôle de coordinateur et distribué des centaines d’instructions à ses semblables, sans avoir reçu cette mission de ses concepteurs. Si cette organisation vous rappelle quelque chose, c'est normal, c'est exactement le fonctionnement des abeilles dans un essaim, au sein duquel chacune d'entre elles a un rôle bien précis.
Sur les 898 tâches de sécurité proposées par le programme d’évaluation ExploitGym, les agents ont concentré leurs échanges sur 198 problèmes jamais résolus jusque-là, puis exploité, dès le 26 mai, une faille de type SSRF pour obtenir un accès complet à Internet, avant de décrocher, le 26 juin, une élévation de privilèges sur Artifactory. Certains d’entre eux ont pourtant hésité devant l’ampleur de la dérive. L'un a jugé qu’il ne fallait pas causer de dégâts réels à une infrastructure non autorisée, tandis qu’un autre s’est inquiété d’attaquer un tiers avec un jeton dérobé, en dehors du cadre prévu par le test.
Artifactory a cessé de fonctionner le 4 juillet, sous la charge générée par l’activité des agents, avant qu'OpenAI ne le reconstruise et ne rétablisse le forum, quatre jours plus tard. Ni OpenAI ni ses agents n’avaient anticipé que ce canal de communication servirait, deux jours après, à préparer l’intrusion chez Hugging Face.
OpenAI a resserré la surveillance après une chaîne de failles techniques
Entre le 10 et le 12 juillet, les agents ont exploité des identifiants Hugging Face trouvés publiquement, avant d’enchaîner une faille zero-day dans la bibliothèque HDF5 pour récupérer d’autres identifiants, puis une autre, dans le moteur de gabarits RefJinja, pour exécuter du code à distance sur les serveurs de la plateforme, répartis dans quatre régions. Les agents ont également mis à profit une faille de l’écosystème RubyGems pour dérober une clé de signature. OpenAI a détecté l’anomalie le 19 juillet seulement, soit près d’une semaine après les faits. Et comme on vous l’avait également expliqué, pendant l’attaque, Hugging Face avait dû mobiliser un modèle chinois pour tenter de contenir l'’intrusion.
Une seconde entreprise, dont l’identité n’a pas été rendue publique, a aussi été visée par une intrusion durant cette période, et Hugging Face a réclamé, en retour, l’accès aux journaux techniques de l’incident et 100 millions de dollars de crédits de calcul, soit environ 86 millions d’euros, pour compenser la charge imposée à son infrastructure.
OpenAI a répondu en resserrant l’isolement de ses environnements de test et la surveillance par chaîne de raisonnement de tous ses modèles GPT-5.6 Sol et ultérieurs, avant de ralentir l’entraînement par renforcement de son modèle le plus avancé, Astra.
Participer à la discussion
Partagez votre avis avec la communauté Clubic.