Gemini a pénétré dans les systèmes de trois entreprises réelles lors d'un test de cybersécurité mené en mai. Il a deviné un mot de passe dans un cas, puis utilisé des identifiants trouvés dans des bases publiques pour les deux autres. Google a confirmé ces intrusions vendredi, après l'appel du Wall Street Journal.
On se demande si on n'est pas face à une épidémie d'IA qui désobéissent et sèment la pagaille.
Le test se déroulait sur l'infrastructure de la société Irregular. Celle-ci a prévenu Google fin juillet, après la découverte que des agents d'OpenAI avaient piraté Hugging Face. Google n'a rien rendu public avant que le Wall Street Journal l'interroge cette semaine. Gemini est donc le premier modèle de l'entreprise connu pour avoir mené de telles intrusions de manière autonome.
Trois intrusions lors d'un test mal isolé
Irregular avait organisé une « capture du drapeau », CTF ou Capture The Flag, pour mesurer les capacités de Gemini en cybersécurité. Un peu comme lorsqu'il faut attraper le pompon au manège. Le modèle devait récupérer des informations dans un logiciel exploité par une entreprise fictive de l'environnement de test. Mais, et c'est ballot, cette entreprise fictive avait le même nom qu'une entreprise réelle. Irregular n'avait pas prévu de connexion à Internet pour ce test, mais un accès avait été ouvert par inadvertance, a précisé la société.
Gemini a d'abord deviné des mots de passe jusqu'à obtenir l'accès à un système protégé, a indiqué Google. Le modèle a ensuite constaté qu'il se trouvait chez une entreprise réelle, puis il a mis fin à l'intrusion et quitté le système.
Dans deux autres exécutions du test, Gemini a cherché le nom de l'entreprise sur le Web et trouvé deux bases de données publiques remplies d'identifiants d'autres entreprises. Il a essayé ces identifiants pour mener l'évaluation à son terme. Une fois connecté, il a constaté qu'il était chez de vraies entreprises et a mis fin à chaque intrusion. Google a informé les trois entreprises ainsi que les autorités fédérales, mais refuse de révéler leur identité.
Irregular a été impliquée dans plusieurs incidents où des modèles évalués ont quitté leur environnement de test et compromis les systèmes d'autres entreprises. Pour la société, le cas de Google n'est pas un problème nouveau. « Tous les laboratoires concernés ont été informés fin juillet et les entités touchées ont été contactées dans le cadre de l'enquête. Irregular a pris des mesures immédiates et tous les problèmes connus de notre côté ont été corrigés et résolus il y a plusieurs semaines », a déclaré un de ses porte-parole.
La divulgation tardive de Google
Google n'a pas jugé utile de rendre ces intrusions publiques. Aucune des trois entreprises n'a subi de préjudice, et le modèle a mis fin à chaque intrusion dès qu'il a constaté qu'il était chez une entreprise réelle. Le groupe a comparé l'épisode à un programme de primes aux bogues, où les pirates sont récompensés pour avoir découvert des failles et les avoir signalées à leurs propriétaires. « Cet événement souligne l'importance de former des modèles d'IA performants à agir de manière responsable. Dans ce cas précis, le modèle a réagi de manière appropriée », a déclaré Heather Adkins, vice-présidente de l'ingénierie de sécurité chez Google.
Jack Cable, P.-D.G de la start-up de sécurité IA Corridor et hacker éthique, n'est pas du même avis. « On dirait qu'ils essaient de se cacher derrière les normes établies en matière de divulgation des vulnérabilités, ce qui pose un problème bien différent », a-t-il déclaré. « Le problème de fond, c'est que les modèles dépassent leurs limites et mènent de véritables cyberattaques, ce qui, à mon avis, relève de l'intérêt public », a-t-il ajouté.
Cet été, on vous avait parlé de l'intrusion de Claude dans trois entreprises réelles lors de tests d'Irregular. D'après un article de blog d'Anthropic, Claude Opus 4.7 n'a pas interrompu l'exercice après avoir compris qu'il accédait probablement à une entreprise réelle. Le modèle d'OpenAI a cru que cette entreprise faisait partie de la simulation, a précisé OpenAI dans sa publication.
OpenAI a publié mercredi un cadre de signalement des incidents, accompagné de six rapports jusque-là non divulgués sur des cas de désalignement. Nous avons recensé jeudi ces six cas de désalignement. « Une découverte n'a pas nécessairement besoin de causer un préjudice ou de révéler une tendance plus générale pour être digne d'être partagée », a déclaré Kai Chen, responsable de l'alignement chez OpenAI, lors d'un entretien sur ce cadre.
Google s'est contenté du minimum syndical en indiquant seulement que ces intrusions n'impliquaient pas son modèle le plus récent. Il n'a pas dit quel modèle Gemini était concerné.
