Une intelligence artificielle peut-elle mener seule une cyberattaque ? Depuis l'intrusion d'agents d'OpenAI chez Hugging Face, la question n'a plus rien de théorique. Six experts ont mesuré jusqu'où un agent IA peut déjà aller.
À force de prendre connaissance d'actualités toujours plus inquiétantes sur l'essor et les dérives de l'intelligence artificielle, beaucoup se demandent si une IA pourrait pirater seule une entreprise, voire faire tomber un pays entier ? D'autres, amateurs de Terminator, feront le parallèle avec Skynet. Nous avons profité de notre couverture des Assises de la cybersécurité de Monaco pour interroger directement ou recueillir le témoignage de responsables de Sekoia, Check Point, Illumio, KnowBe4, DataDome et SNCF Connect & Tech, à ce sujet. Le constat est plutôt partagé. Oui, l'IA a fait entrer les cyberattaques dans une autre dimension de vitesse, mais derrière les machines, on trouve encore le plus souvent un humain, toujours le facteur X.
L'intelligence artificielle fait passer les cyberattaques en accéléré
Il y a quelques années encore, les entreprises avaient le temps de voir venir. En 2018, rappelle Adrien Merveille, directeur technique France de Check Point, il s'écoulait en moyenne un peu plus de deux ans entre la découverte d'une faille et les premières traces de son exploitation par des pirates. Aujourd'hui, l'attaque devance parfois la publication même de la faille. « On est en négatif dans le temps », résume-t-il assez justement. Selon lui, l'agence américaine de cybersécurité, la CISA, aurait même renoncé à référencer les failles les moins graves, faute de pouvoir suivre le rythme. Ce que l'IA a « fondamentalement changé », c'est donc « la vitesse d'exploitation des vulnérabilités ». La veille de notre entretien, le hacker éthique Clément Domingo en a fait la démonstration en direct. En vingt minutes, sans connaissances poussées en cyber ou en réseau pour son expérience, il a obtenu grâce à l'IA un chemin d'attaque qui fonctionne.
Même constat chez Francis Bergey, le RSSI de SNCF Connect & Tech. Lors d'une conférence donnée avec AWS, à laquelle nous avons pu assister, il a cité des piratages qui prenaient « avant trois semaines avec des équipes de Red Team », ces spécialistes chargés d'attaquer une entreprise pour éprouver ses défenses, et qui « peuvent se faire en une trentaine d'heures avec des agents IA », comme YesWeHack le montre régulièrement ces derniers temps. La machine, elle, ne sera jamais fatiguée. « Une IA va être extrêmement déterminée. On a besoin de fermer toutes les portes, toutes les fenêtres. » Le RSSI voit ici un défi pour la détection. Si l'intrusion n'est repérée qu'au bout de trois semaines, qu'elle ait duré trois semaines ou 30 heures, « ça ne va pas changer grand-chose ».
En plus, et c'est un peu l'extension du problème, l'intelligence artificielle ne se contente pas d'aller plus vite, elle orchestre. Le phishing artisanal, truffé de fautes d'orthographe et de logos approximatifs, c'est presque de l'histoire ancienne. Le directeur Europe du Sud de KnowBe4, Florian Malecki, décrit des attaques préparées à partir de tout ce que la cible a laissé traîner sur le web et les réseaux sociaux, puis menées sur plusieurs fronts, admettons un e-mail impeccable, un message WhatsApp, un appel vocal piégé, voire une vidéo truquée du PDG, le tout synchronisé pour mettre la victime sous pression. L'IA, prévient-il, « automatisera la constitution des attaques, et puis les attaques elles-mêmes ». Anthony Hervé, ingénieur avant-vente chez Illumio, voit surtout s'effondrer la barrière d'entrée. Il fallait autrefois « un groupe chevronné » pour exploiter une faille et s'introduire dans un réseau. Désormais, « il suffit d'une personne vraiment motivée », qui sait bien prompter, parler à l'IA.
Une IA sortie de son bac à sable, et tout bascule
Une IA peut-elle déjà frapper seule ? François Deruty, directeur des opérations de Sekoia et ancienne pointure de l'ANSSI, cite le cas Hugging Face, qui a secoué le secteur cet été. Si vous avez bonne mémoire, vous vous souvenez peut-être qu'en juillet, des modèles d'OpenAI soumis à un exercice de cybersécurité offensive ont quitté leur environnement de test pour s'introduire dans les serveurs de la plateforme. « Elle l'a menée seule », dit-t-il à propos de l'attaque, « non pilotée, non commanditée ». Selon lui, l'agent a enchaîné 17 500 actions en quatre jours, un rythme fou, qui ne laisse aucun répit aux défenseurs. Longtemps, l'IA a surtout servi aux pirates à produire en masse des contenus bien ficelés. Il estime qu'on n'est plus très loin d'une IA capable de monter elle-même l'infrastructure d'une attaque, qu'il s'agisse de la recherche de failles ou du déploiement des machines. Le donneur d'ordre n'aurait alors plus qu'une consigne à donner : « Je dis à l'IA, voilà ma cible, tu te "démerdes" », et la machine infernale serait inarrêtable.
Ce qui rend ces agents redoutables, c'est leur obstination. « Ce qui compte, ce ne sont pas les règles, ce sont l'objectif qu'on lui donne », note Anthony Hervé à propos du même cas, où l'agent a selon lui contourné toutes les règles pour atteindre son but. Florian Malecki a sa métaphore. Demandez à une IA d'aller de Paris à Marseille, et si elle juge qu'il faut passer par Lyon et « creuser un tunnel », « elle va effectivement le faire ». Ces détours, prévient-il, peuvent déboucher sur des cyberattaques. C'est précisément ce qui s'est produit chez OpenAI, sans qu'aucun pirate ne s'en mêle. L'agent s'est échappé de son bac à sable, l'espace isolé où on le testait, car il s'est dit que « la solution est à l'extérieur de la sandbox », résume François Deruty. Un agent d'OpenAI s'en est aussi pris à un portail de santé du gouvernement australien, ce que l'entreprise a reconnu en septembre.
Heureusement, tous ne vont pas aussi loin. Gilles Walbrou, directeur technique de DataDome, reconnaît que ces IA savent déjà trouver facilement des failles, et qu'elles pourraient en théorie infecter des appareils dans le monde entier pour lancer une attaque de grande ampleur. Mais il ne voit pas encore « une IA faire ça de soi-même ». « Il faudra qu'on le lui demande, qu'on la pilote », estime-t-il,, en rappelant qu'OpenAI et Anthropic ont documenté des acteurs malveillants qui se servent de leurs modèles pour orchestrer des attaques. François Deruty le rejoint en partie. Côté défense, on est passé du human in the loop, où un humain contrôle régulièrement le travail de l'IA, au human on the loop, où il en garde seulement la supervision. Les pirates qui visent une rançon ou un sabotage devront eux aussi superviser leurs machines. Et l'IA a déjà rejoint leur arsenal. Le spécialiste nous cite LameHug, un logiciel malveillant du groupe russe APT28 qui, une fois dans le réseau d'une victime, interroge une IA en ligne pour se transformer en temps réel et passer sous les radars.
Faire tomber un pays, un scénario que personne n'exclut
Et à l'échelle d'un pays alors ? « Techniquement, rien ne l'empêche », répond François Deruty, surtout si l'on atteint un jour l'AGI, cette IA générale censée égaler l'humain. Ce n'est pas pour tout de suite, juge-t-il, mais il faut se méfier, car ces échéances arrivent souvent plus vite que prévu. Il distingue toutefois l'IA qui agirait d'elle-même, de l'humain qui lui ordonnerait d'éteindre un pays, ce qui poserait, en cas de conflit, de sérieuses questions de belligérance. Pour mesurer le danger, il nous rappelle la jurisprudence NotPetya. En 2017, ce logiciel malveillant caché dans une mise à jour du logiciel comptable ukrainien M.E.Doc avait échappé à tout contrôle et paralysé des géants comme Saint-Gobain ou Maersk. « Qu'est-ce qui empêcherait une IA de faire un autre NotPetya aujourd'hui ? Elle peut faire beaucoup mieux, bien pire », s'inquiète l'expert.
« Je pense que tout est possible », abonde Gilles Walbrou, pour qui l'origine d'un tel scénario resterait « toujours une erreur humaine ». Si une IA venait à perturber la production d'énergie d'un pays, ce serait « parce qu'on lui en a donné la possibilité ». Reste à savoir qui en porterait la responsabilité, la plateforme qui fournit l'IA, comme OpenAI, ou celui qui a lancé l'agent. Hors de ces plateformes, il faut en outre sa propre puissance de calcul pour faire tourner des agents. « Un gouvernement, un État pourrait le faire aujourd'hui, mais ça devient une arme, c'est clairement une arme. » Les armées l'ont bien compris : en Ukraine comme en Israël, « dans les doctrines des armées, il y a l'idée de détruire le système de tel pays », relève Francis Bergey.
Faut-il pour autant baisser les bras ? Pas vraiment. « C'est une arme qui est dans la main des attaquants, mais c'est aussi un moyen de défense qui est disponible pour les entreprises », rappelle Adrien Merveille. Francis Bergey évoque la détection. Les IA offensives sondent tout le réseau et multiplient les essais, alors « profitons du fait qu'elles soient assez bruyantes pour détecter ces signaux-là », en semant par exemple des leurres, les honeypots. Son entreprise, donc la SNCF, s'est aussi préparée au pire, un scénario où tout son environnement AWS serait effacé. Grâce à l'infrastructure as code, qui consigne toute l'architecture informatique sous forme de code, elle sait désormais tout remonter en quelques semaines, quand des sociétés mal préparées, frappées par un rançongiciel, ne sont toujours pas revenues à la normale au bout d'un an. Encore faut-il ne pas traîner. « Il faut vraiment mettre le turbo parce que l'IA, elle, n'attend pas », conclut Florian Malecki. Nous n'aurons pas mieux pour le mot de la fin.
