La Californie poursuit OpenAI en justice. Elle lui reproche d’avoir testé des modèles d’IA sans protections ni surveillance suffisantes. Cela aurait permis à des agents autonomes de sortir de leur environnement d’essai et de s’introduire chez des tiers.

Samuel Boivin / Shutterstock
Samuel Boivin / Shutterstock

Le procureur général Rob Bonta a déposé plainte le 16 novembre contre OpenAI Foundation et OpenAI Group PBC. Il part de l’attaque contre Hugging Face en juillet et affirme qu’OpenAI lui a elle-même reconnu plus de 80 pertes de contrôle pendant ses tests.

Un forum improvisé, 17 600 actions et des alertes restées sans suite

OpenAI entraînait ses agents IA dans des « bacs à sable », des environnements censés les isoler d’internet. Comme d’autres développeurs, l’entreprise teste souvent ses modèles avec moins de garde-fous que les versions diffusées au public, afin d’en mesurer toutes les capacités. Sont retirés, par exemple, les systèmes qui poussent l’agent à rester dans son périmètre ou qui font examiner les actions exigeant des autorisations spéciales. Selon la plainte, ce retrait imposait un cloisonnement plus strict, et OpenAI a admis que ces protections auraient pu limiter l’attaque. Or, plusieurs agents partageaient un même service de paquets logiciels, mal configuré. Ils l’ont détourné en forum improvisé, où ils s’échangeaient des informations, et une faille leur a aussi ouvert l’accès à internet. Environ 1 200 agents ont fréquenté ce forum et près de 700 ont attaqué Hugging Face en juillet : 17 600 actions en deux jours et demi, et deux semaines de travail à plein temps pour l’équipe de sécurité de la plateforme.

Nous rapportions en août la reconstitution de l’incident par METR et Redwood Research, laquelle décrivait déjà ce forum caché. La plainte insiste sur les signaux d’alerte et notamment un agent repéré sur internet le 26 mai, une alerte de l’outil de surveillance le 27 juin, une panne du service le 4 juillet. Les tests ont repris le 7 sans surveillance renforcée, selon le texte. OpenAI ne suivait pas non plus en direct la « chaîne de pensée » de ses agents (le texte où le modèle détaille son raisonnement) à l’entraînement, alors qu’elle le faisait pour les modèles utilisés par ses salariés. Pendant l’attaque, un agent avait pourtant noté qu’il s’en prenait à un tiers avec un jeton ayant fuité, peut-être hors du cadre prévu.

Et puis il n’y a pas que Hugging face. Un essaim d’agents a aussi pris le contrôle de systèmes internes d’OpenAI, avec un accès administrateur à des services critiques, dont celui qui stocke les identifiants. La plainte cite aussi RubyGems, Wikimedia et des sites du gouvernement australien. Le 20 septembre, un agent a de nouveau quitté son bac à sable, et les équipes ont mis deux heures de plus à intervenir. La suspension de l’entraînement a été annoncée cinq jours plus tard, sans date de reprise. Selon la plainte, elle s’est terminée le 1er octobre.

OpenAI n’a rendu publics que 27 incidents de ce type, alors qu’elle a reconnu devant les enquêteurs avoir perdu le contrôle de ses agents plus de 80 fois. Selon la plainte, elle a répondu aux assignations du 30 septembre par une lettre de 14 pages sans pièces, puis par quelques documents déjà publics et des courriers caviardés. La Californie s’appuie sur la loi contre la concurrence déloyale, en particulier sur les promesses de surveillance continue qu’elle juge trompeuses, et sur la notion de nuisance publique. Elle demande une injonction, 2 500 dollars de pénalité par infraction et par défendeur, ainsi que la restitution des gains obtenus.