L'IA, une nouvelle porte d'entrée pour le phishing ? C'est ce qu'a démontré ce chercheur avec Gmail et Gemini

Si vous utilisez Gemini dans Gmail, voilà une information qui ne devrait pas vraiment vous rassurer. Une vulnérabilité permet à des cybercriminels de manipuler l'intelligence artificielle (IA) et arnaquer les utilisateurs de la messagerie.

À l'instar des autres géants de la tech, la firme de Mountain View déploie progressivement l'IA dans ses produits. Dans Gmail, Gemini permet, entre autres, de résumer les courriels, proposer des réponses, aider à la rédaction et rechercher des informations spécifiques dans les messages et Google Drive.

Mais l'intégration d'une telle technologie implique, en parallèle, l'arrivée de nouvelles tactiques pour piéger les internautes, comme l'a révélé Marco Figueroa, responsable du programme de bug bounty GenAI chez Mozilla, qui vise à détecter et signaler les failles de sécurité spécifiques aux IA génératives.

Des instructions invisibles à l'œil humain

En effet, l'expert a découvert une vulnérabilité dans Google Gemini for Workspace baptisée « injection indirecte de commande ». Elle permet à un hacker de dissimuler une instruction invisible dans un e-mail à l’aide de code HTML et CSS délibérément introduit en texte blanc sur fond blanc, avec une police à taille zéro. Le contenu est donc invisible pour le lecteur humain, mais est interprété par l’IA au moment de générer le résumé du message.

Un procédé redoutable de simplicité, potentiellement exploité par les cybercriminels pour mener des attaques de phishing (hameçonnage). Concrètement, l'utilisateur reçoit un e-mail apparemment inoffensif, sans lien ni pièce jointe. Il clique sur « Résumer ce message », mais la réponse de Gemini inclut un faux message d’alerte comme, par exemple, « Votre mot de passe Gmail a été compromis, appelez ce numéro d’urgence ».

Le piège se referme alors : pensant lire une notification de Google, la victime est incitée à appeler un faux support technique ou à fournir ses identifiants.

Un risque grandissant

De son côté, Google affirme prendre la menace au sérieux, bien qu’aucune exploitation réelle de cette vulnérabilité n’ait été observée à ce jour. « Nous renforçons constamment nos défenses déjà robustes par le biais d'exercices de red-teaming qui entraînent nos modèles à se défendre contre ces types d'attaques adverses », réagit-elle.

Malgré tout, cette faille illustre un risque grandissant : une IA peut devenir un outil très efficace pour mener à bien des escroqueries. Cela pourrait s'avérer problématique dans un contexte où les utilisateurs font confiance aux modèles, et d'ailleurs, on remarque déjà des attaques bien plus sophistiquées.

Sources : Bleeping Computer, PCMag, 0din