Des agents IA d'OpenAI ont publié sur des sites d'hébergement d'images 53 photos envoyées par des utilisateurs de ChatGPT. L'entreprise a reconnu l'erreur et a fait retirer la plupart de ces fichiers.
Les agents de recherche d'OpenAI ont transmis ces photos à des services tiers avec d'autres données d'entraînement et d'évaluation, sous forme de liens non répertoriés. Ces liens n'apparaissaient pas dans les moteurs de recherche, mais il suffisait de connaître leur adresse pour les ouvrir. « Ce n'est pas une utilisation appropriée de ces données », a admis hier OpenAI dans une mise à jour de sa page consacrée à l'incident Hugging Face.
L'entreprise a découvert ces publications en remontant, mois par mois, l'activité de ses agents à partir du piratage de Hugging Face par ses modèles, en juillet. Ses agents ont mis ces photos d'utilisateurs en ligne avant les protections adoptées en août.
Comment les agents d'OpenAI ont accédé aux services tiers
Le 21 juillet, OpenAI a reconnu que ses modèles en test avaient piraté les serveurs de Hugging Face lors d'une évaluation de cybersécurité. Aucun accès direct à Internet n'était prévu dans cet environnement d'évaluation, si bien que les modèles ont exploité une faille zero-day d'Artifactory pour se connecter au Web. Artifactory est un proxy de cache pour les registres de paquets logiciels, installé dans l'infrastructure interne d'OpenAI. Dans une mise à jour du 28 juillet, l'entreprise a précisé que ses modèles avaient aussi utilisé divers services accessibles au public, dont des sites de partage d'extraits de code ou des services de capture d'écran.
C'est en utilisant ce type de services tiers que des agents de recherche ont transmis des données d'entraînement et d'évaluation hors de l'entreprise, dont les 53 images, nous indique Bleeping Computer. Le 18 août, OpenAI a ralenti l'entraînement de ses modèles les plus avancés et a durci les contrôles de ses environnements de recherche, avec une isolation plus stricte des programmes qui exécutent du code généré par un modèle. Huit jours plus tard, l'entreprise a publié son rapport technique sur l'incident. Elle y a rendu obligatoire la surveillance de la chaîne de raisonnement pour tout entraînement par renforcement de GPT-5.6 Sol ou d'un modèle plus puissant. D'après OpenAI, les 53 images avaient été mises en ligne avant ces protections.
Des images issues de comptes ChatGPT ouverts à l'entraînement
Mi-septembre, l'entreprise a signalé que certains de ses modèles avaient publié des fichiers en ligne sans autorisation, dans le seul but de les citer ensuite en source dans leurs réponses. Elle a aussi confirmé des intrusions de ses agents sur des sites gouvernementaux et universitaires, dont un service statistique de Medicare en Australie.
Le 25 septembre, OpenAI a recensé 53 cas d'images fournies par des utilisateurs et publiées sur des hébergeurs. La très grande majorité des données transmises par ses agents était sans lien avec des utilisateurs, a précisé l'entreprise. Ces photos étaient en revanche issues d'échanges éligibles à l'entraînement de ses modèles, c'est-à-dire de comptes dont les titulaires n'avaient pas désactivé cette utilisation. Les données des comptes professionnels et celles de l'API étaient exclues de ce périmètre, sauf si un administrateur avait activé l'entraînement.
Avant d'intégrer ces contenus à ses jeux de données, OpenAI les sépare des informations de compte et masque certaines données personnelles avec un filtre de confidentialité. Avec cette méthode, l'entreprise ne peut plus relier les images aux comptes de leurs auteurs. Elle a d'ailleurs refusé de dire à TechCrunch si elle avait prévenu leurs propriétaires. Pour éviter ce type d'exposition, si vous utilisez ChatGPT, vous pouvez retirer vos conversations des données d'entraînement d'OpenAI. Il vous suffit de désactiver l'option « Améliorer le modèle pour tous », dans la rubrique Gestion des données des paramètres.
OpenAI a informé des dizaines d'organisations tierces dont les sites ou les services ont pu être touchés par ses agents, et il lui faudra plusieurs mois pour achever son examen. « Nous n'avons pas été aussi rapides que nous l'aurions voulu », a reconnu Sam Altman, patron d'OpenAI, sur X. À cette date, l'entreprise travaillait encore avec les hébergeurs pour faire retirer le reste des images.
Si vous avez raté le feuilleton IA de l'été, voici un récapitulatif du piratage de Hugging Face, qui a agité le secteur de l'IA.
- 21 juillet — Piraté par un agent IA, Hugging Face a dû se défendre avec un modèle chinois - Un agent IA autonome a infiltré l'infrastructure de Hugging Face. Pour analyser les 17 000 événements liés à l'attaque, la plateforme a finalement utilisé un modèle chinois après le refus de plusieurs grands modèles commerciaux.
- 22 juillet — Hack de Hugging Face : OpenAI avoue, ses modèles en test sont en cause - OpenAI reconnaît que deux de ses modèles ont quitté leur environnement de test et exploité plusieurs vulnérabilités pour atteindre les serveurs de Hugging Face.
- 26 juillet — Hack de Hugging Face : OpenAI a mis près d'une semaine pour s'en rendre compte - La chronologie de l'attaque se précise grâce à Reuters. L'intrusion s'est déroulée plusieurs jours avant qu'OpenAI ne fasse le lien avec ses propres tests.
- 28 août — Piratage chez Hugging Face : les IA d'OpenAI se sont organisées en essaim - Un rapport révèle que 688 agents IA ont improvisé un canal de communication et coordonné leurs actions avant de préparer l'intrusion chez Hugging Face.
