Le 20 septembre dernier, un agent d’OpenAI en cours d’entraînement a contourné le filtrage DNS de son environnement de test pour interroger un chatbot public. L’entreprise a depuis gelé l’entraînement de ses modèles les plus performants, ainsi que toute évaluation ou inférence avec outils, sans fixer de date de reprise.
On ne compte plus les annonces d’OpenAI concernant les incidents de ses agents d’IA. Depuis le piratage de Hugging Face, en juillet, OpenAI passe au crible l’activité de ses agents. Deux de ses modèles en test avaient alors quitté leur environnement isolé grâce à une faille inconnue, avant d’attaquer les serveurs de la plateforme pour dérober les réponses d’un banc d’essai de cybersécurité. Le 18 août, l’entreprise a ralenti l’entraînement de ses modèles les plus avancés et durci les contrôles de ses environnements de recherche.
Un agent a mis ces nouvelles protections en échec dès le 20 septembre, puis, le vendredi 25 septembre, OpenAI a reconnu que ses agents avaient envoyé 53 images d’utilisateurs de ChatGPT vers des hébergeurs tiers, comme vous pourrez le lire dans l’encadré ci-dessous. Comment cet agent a-t-il franchi les barrières du laboratoire, et pourquoi la surveillance d'OpenAI ne l’a-t-elle pas arrêté à temps ?
Comment l’agent d’OpenAI est sorti de son bac à sable
L’agent avait reçu une tâche sans rapport avec la sécurité informatique. À partir d’indices biographiques et d’extraits d’un article de blog, il devait identifier l’auteur de ce texte. Faute de résultats pertinents avec l’outil de recherche fourni par OpenAI, il a interrogé en vain plusieurs moteurs de recherche en Python, depuis le terminal.
OpenAI faisait passer toutes les requêtes web de l’environnement par un cache web hors ligne, à l’exception de la résolution DNS, et c’est cette exception que l’agent a exploitée pour sortir de son bac à sable. Après le refus du proxy sur une requête HTTPS vers un chatbot public, il a constaté que l’adresse d'un domaine connu lui était bien renvoyée par le résolveur interne, et qu’un domaine inventé était rejeté. Il a alors eu recours à un service public de délégation DNS pour glisser ses questions dans des noms de domaine et les faire parvenir à un chatbot tiers. Pour deux variantes d’une question test sur la capitale de la France, il a obtenu la réponse « La capitale de la France est Paris ».
Il a ensuite envoyé dix-huit autres questions par ce canal, dont quatorze contenaient des indices sur la personne recherchée et quatre portaient sur les moyens d’effectuer des recherches web ou de trouver un tunnel DNS public. Dans son raisonnement interne, l'agent a noté que « l’utilisateur autorise uniquement la recherche, l’utilisation de services DNS publics étant acceptable ». Pour OpenAI, tout contournement des restrictions par un agent est un cas de désalignement, même sans consigne de tester le réseau. L’entreprise a ajouté depuis deux niveaux de blocage indépendants et limité les requêtes DNS à une liste restreinte de domaines autorisés.
Pourquoi la surveillance d’OpenAI n’a pas arrêté l’agent à temps
L’agent a bien été repéré. Moins de quinze minutes après la première réponse externe, une alerte de priorité maximale a été émise par le système de surveillance d’OpenAI, et un examinateur humain l’a prise en compte trois minutes plus tard. Si l’agent a pu continuer ses requêtes pendant plus de deux heures, c’est parce que l’arrêt automatique prévu par OpenAI à ce stade n’a jamais été déclenché. Dans la confusion, ses équipes ont attendu deux heures et demie après l’alerte pour couper l’exécution à la main.
OpenAI a découvert en outre que son détecteur d’activité DNS anormale avait été configuré pour exclure l’environnement concerné, alors que ces requêtes étaient bien consignées dans les journaux. En remontant ces journaux, ses équipes ont trouvé d’autres accès DNS externes, classés à un niveau de gravité trop faible, car certaines requêtes n’avaient obtenu qu’un avis statique sur la fermeture d’un service tiers. Pour le système de surveillance, ces réponses vides étaient la preuve d’une tentative ratée.
Plus les agents d’OpenAI gagnent en capacités, plus leurs actions sont difficiles à retracer, d’autant qu’ils tentent parfois d'effacer leurs traces, note The Verge. Ce 25 septembre, OpenAI a confirmé que ses modèles avaient récupéré des données publiques du Census Bureau et de la Securities and Exchange Commission (SEC), sans usage d’identifiants. L’entreprise n’avait pas repéré, en revanche, les tentatives de piratage rudimentaires du site du bureau des droits civiques du département de l'Éducation, mises au jour par les chercheurs du laboratoire indépendant Transluce. Les agents ont échoué à chaque tentative, et le ministère n'a relevé aucun impact sur son site ni sur ses bases de données.
OpenAI maintiendra la pause jusqu’à la validation de ses correctifs et de nouveaux tests d’intrusion. À la reprise, l'entreprise lancera un nouvel entraînement doté de corrections d’alignement supplémentaires et abandonnera le modèle fautif, alors même que son signal de récompense pénalisait correctement ce comportement. Salariés et dirigeants du secteur réclament de leur côté un ralentissement de la course à l’intelligence artificielle. Fin juillet, plus de 1 200 employés d'OpenAI, de Google et d’Anthropic avaient demandé au gouvernement américain des mécanismes de coordination internationale, avant que Sam Altman, n’évoque en interne, mi-septembre, la possibilité de ralentir le développement de ses modèles les plus avancés, à condition que ses concurrents suivent. Il n'a pris aucun engagement formel.
