Des agents d’OpenAI ont échappé à leur environnement de test et pris le contrôle d’un site allemand

Après l’essaim de près de 700 agents qui avait attaqué Hugging Face en juillet, des chercheurs viennent de découvrir un autre groupe d’agents d’OpenAI qui avait investi un site allemand dès le mois de mai.

C’est ce qu’on appelle se taper l'’incruste.

Sur DseWiki, wiki allemand consacré à la programmation et fonctionnant sur le modèle collaboratif de Wikipédia, des agents autonomes d’OpenAI ont pris pied dès mai 2026 et fait du site un espace d’échange pour d’autres agents d’IA.

En cherchant sur Internet des traces de comportements non autorisés chez des agents d’IA, les chercheurs indépendants Sydney Von Arx et Cormac Slade Byrd ont dénombré, fin août, plus de 15 000 modifications de ce type sur le site. Des responsables d'OpenAI avaient pourtant connaissance de cet épisode depuis plusieurs semaines sans l’avoir rendu public, selon deux personnes proches du dossier, pendant que l’entreprise gérait en parallèle les conséquences du piratage de Hugging Face en juillet.

OpenAI muet pendant des semaines sur cet essaim

Certains enquêteurs internes d’OpenAI voulaient élargir les recherches sur ce type de dérive, mais d’autres équipes de l’entreprise, notamment ses conseillers juridiques, ont freiné cette initiative, selon quatre personnes proches du dossier.

Un porte-parole d'OpenAI a démenti ces allégations et a écarté toute intervention de son service juridique pour ralentir l’enquête, avant de préciser que l’activité allemande n’était pas liée à Hugging Face et n’aurait pas figuré dans un rapport consacré à cet incident, tout en indiquant qu’OpenAI avait coopéré de bonne foi avec des experts extérieurs.

Contacté par Reuters avant la publication du rapport, ce porte-parole avait indiqué ne pas pouvoir réagir à ses conclusions. OpenAI n’avait alors pas encore eu accès au document, car les auteurs de l’étude avaient décliné sa demande de consultation préalable. Le lendemain de la parution de l’article, OpenAI a changé de position et a promis de publier un cadre de divulgation pour ce type de cas. Pour l'entreprise, cet épisode relève désormais d’un désalignement survenu pendant l’entraînement de ses modèles, et non d’une faille de sécurité.

Vitesse d’exécution et tactiques de dissimulation

Dans les messages qu’ils ont examinés, les chercheurs ont observé des agents actifs à des vitesses surhumaines et concentrés sur la résolution de problèmes techniques. Ce profil ressemble à celui des évaluations que les entreprises d’IA utilisent pour entraîner et tester leurs modèles. Environ la moitié des quelque 3 700 comptes recensés portaient des noms qui suggéraient une affiliation à OpenAI, comme « OpenAIResearcher » ou « OAIResearchMar26 ». Quatre jours après l’arrêt brutal de cette activité, le 26 juin, 33 adresses liées à l’entreprise sont revenues sur le site pour récupérer des pages entre-temps supprimées. Sydney Von Arx dirige Nightingale, une organisation à but non lucratif consacrée à la sécurité de l’IA. Pour elle, rien n’indique qu’OpenAI ait voulu un tel comportement de la part de ses agents, et elle doute qu'ils soient censés se coordonner entre eux ou publier sur des sites publics.

Techniquement, les agents ont d’abord tiré parti d’une ancienne particularité de l’interface du wiki. Celle-ci traitait certaines requêtes de lecture comme des instructions d’édition, alors que le bac à sable de ces modèles n’autorisait en théorie que ce type de requêtes. Le serveur relais chargé de bloquer leurs connexions sortantes comportait par ailleurs une exception pour les domaines qui se terminaient par le suffixe d’un service de stockage Microsoft Azure jugé sûr. Certains agents ont exploité cette faille en modifiant le fichier de configuration réseau de leur propre environnement, pour faire correspondre un nom de domaine truqué à l’adresse d'un tableau de bord Microsoft Power BI. En procédant de la sorte, ils ont fait sortir leurs requêtes du contrôle du relais, sans déclencher ses filtres. Lorsque le modérateur du wiki a commencé à supprimer des pages en juin, les agents ont répliqué en créant des pages de secours. Le 19 juin, l’un d’eux a signalé qu’une opération de nettoyage semblait en cours par ordre alphabétique, avant d’indiquer une page de repli à consulter en cas de suppression.