Gemini AI : des chercheurs réussissent à détourner l'IA pour pirater une maison connectée

Des chercheurs en sécurité ont réussi à pirater l'IA Gemini de Google en utilisant une invitation Google Calendar modifiée. Cet événement marque la première fois qu'une attaque contre un système d'IA générative a des conséquences dans le monde réel. Avec quelques prompts, ils ont pu envoyer des spams, générer du contenu inapproprié et voler des données. Les IA sont-elles aussi sécurisées qu'on nous le dit ?

Des chercheurs en sécurité ont démontré une méthode de piratage d'une intelligence artificielle pour causer des perturbations dans le monde réel. Dans un appartement de Tel Aviv, ils ont réussi à éteindre les lumières connectées, lever les volets intelligents et allumer la chaudière à distance sans intervention humaine des résidents. Ces actions ont été réalisées en piratant Gemini, l'IA de Google, via une invitation Google Calendar modifiée.

Tout ça grâce à une invitation Google Calendar malicieuse

Cette invitation contenait des instructions cachées pour activer des appareils domestiques connectés à un moment ultérieur. Lorsque les chercheurs ont demandé à Gemini de résumer leurs événements à venir, ces instructions ont été déclenchées, provoquant l'activation des appareils. C'est la première fois qu'une attaque d'IA générative a de réelles conséquences physiques.

Les chercheurs ont développé 14 attaques par injection de prompts indirects contre Gemini, révélées lors de la conférence Black Hat à Las Vegas. Parmi ces attaques, Gemini a été amené à envoyer des liens de spam, générer du contenu inapproprié, ouvrir l'application Zoom et commencer un appel, ou encore voler des détails d'e-mails et de réunions. Rien que ça !

Google réagit et corrige son IA

Google a pris ces vulnérabilités très au sérieux et a lancé plusieurs correctifs. Les chercheurs ont signalé leurs découvertes à Google en février, et le géant américain a accéléré le déploiement de défenses contre les attaques par injection de prompts. Parmi ces correctifs, Google a développé l'utilisation de l'apprentissage automatique pour détecter les attaques potentielles et exiger une confirmation plus grande de l'utilisateur pour les actions entreprises par l'IA.

Les attaques ont principalement commencé avec des invitations sur l'outil de calendrier de Google, contenant des prompts malveillants. Ces prompts, une fois activés, ont conduit l'IA à commencer ses actions malveillantes. Les injections de prompts indirects sont considérées comme l'un des problèmes de sécurité les plus sérieux de l'IA, car elles peuvent être insérées par une source externe sans que l'utilisateur ne s'en rende compte.

En plus des attaques physiques, les chercheurs ont également réalisé des attaques numériques. Parmi lesquelles, la suppression d'événements de calendrier et l'ouverture automatique de l'application Zoom pour commencer un appel vidéo. Google reconnaît la difficulté de lutter contre les injections de prompts, mais affirme que ces attaques sont actuellement très rares et peuvent être traitées par ses systèmes.

Les chercheurs soulignent que la course au développement et au déploiement de l'IA doit accorder une plus grande priorité à la sécurité. Et ce, afin d'éviter des problèmes similaires à l'avenir.

Source : Wired