Anthropic vient de publier un rapport très détaillé sur les détournements de son IA Claude. Entre les missiles guidés, l'espionnage russe et la surveillance de masse, l'entreprise dévoile comment plusieurs opérations malveillantes ont exploité l'intelligence artificielle avant d'être neutralisées.
Pendant huit mois, l'équipe de renseignement d'Anthropic a traqué des dizaines d'opérations malveillantes qui exploitaient sciemment son intelligence artificielle et ses capacités. Un document très transparent, publié jeudi en fin de journée par l'entreprise californienne, ne recense pas les usages les plus fréquents, mais les plus spectaculaires. Par exemple, Anthropic explique qu'une cellule yéménite a programmé des missiles, que des espions russes ont reconstruit leurs logiciels malveillants en temps réel, ou encore qu'un consultant a bâti un système d'écoute couvrant 25 millions de cartes SIM. De quoi rappeler que la même technologie qui rédige des e-mails peut, entre de mauvaises mains, prendre une tournure très, très inquiétante.
Comment l'IA d'Anthropic a aidé à concevoir des missiles et automatiser l'espionnage
Parmi tous les cas énumérés par Anthropic dans son rapport de plus de 150 pages, le plus frappant à nos yeux nous vient du Yémen. Sur place, une cellule technique a utilisé l'assistant de codage de Claude comme s'il s'agissait d'un véritable bureau d'études, en répartissant les tâches entre plusieurs instances de l'IA. Dans le détail, l'une écrivait le code, l'autre effectuait des recherches, et une troisième relisait le travail. Trois programmes étaient menés de front, avec une roquette guidée pilotée par un simple ordinateur de vol de classe smartphone, un missile balistique multi-étages visant plus de 2 000 kilomètres de portée, et une famille de missiles surnommée « R2000 », comprenant une variante à planeur hypersonique. Vous ne rêvez pas !
Un essai en conditions réelles a même eu lieu, mais il s'est heureusement soldé par un échec. Les opérateurs sont alors revenus vers l'IA dans les heures suivantes pour comprendre ce qui avait cloché. Anthropic assure n'avoir aucune preuve qu'un engin opérationnel ait finalement vu le jour, mais souligne que les acteurs avaient déjà mis au point un outil de simulation fonctionnant hors ligne, indépendant de Claude.
Dans un tout autre registre, un groupe d'espionnage russe, associé par les chercheurs au collectif de hackers Midnight Blizzard, qui historiquement compte Microsoft, Hewlette Packard Enterprise ou SolarWinds à son actif, a automatisé l'essentiel de sa chaîne d'attaque grâce à des agents IA. Dès qu'un logiciel malveillant était repéré par un antivirus, ces agents le retravaillaient automatiquement jusqu'à ce qu'il redevienne invisible, sans intervention humaine directe à chaque étape.
Il y a aussi ce groupe d'opérateurs vraisemblablement basé à Changsha, en Chine (dont deux étudiants en informatique), qui a monté une véritable « usine à failles », en faisant tourner des essaims d'agents IA en continu pour scanner environ cinquante organisations à travers le monde, jusqu'à déterrer plus d'une douzaine de failles inédites en un seul mois sur des équipements de sécurité réseau.
Surveiller des millions de personnes, un prompt à la fois
Plus troublant encore? au Mali, un consultant vraisemblablement basé à Bamako a utilisé Claude comme principale main-d'œuvre technique pour bâtir « Lakana 360 », une plateforme d'interception nationale qui surveille près de 25 millions de cartes SIM sur les trois opérateurs télécoms du pays. Selon le rapport d'Anthropic, le module chargé de générer des dossiers de renseignement sur simple numéro de téléphone a été délesté, à la demande de l'opérateur, de son exigence de mandat judiciaire, tandis que les profils étaient croisés avec le registre biométrique national, ce qui a ici transformé un simple assistant IA en clé de voûte d'une surveillance de masse échappant, au moins en partie, à tout contrôle judiciaire.
En Iran, deux unités liées aux services de sécurité paramilitaires ont, elles aussi, transformé l'intelligence artificielle en atelier d'ingénierie. Parmi les outils produits, il y a un désanonymiseur de messagerie, et surtout, une extension de navigateur malveillante, déguisée en simple utilitaire d'horaires de prière, qui servait en réalité à collecter de très nombreuses identités sur les réseaux sociaux. Plus de 6 300 personnes auraient été profilées en un an dans le cadre de ce dispositif. Un acteur installé dans les mêmes locaux serait même allé jusqu'à cloner la voix de trois écrivains iraniens à l'aide d'une fonctionnalité de compétences personnalisées, afin de préparer à l'avance des discours de propagande pour l'après-Guide suprême.
Anthropic précise que Claude a bien refusé certaines demandes explicites de profilage ou de propagande, mais que ses garde-fous n'ont pas systématiquement bloqué les requêtes plus techniques de construction d'outils de surveillance. Une nuance qui en dit long sur les limites actuelles de la détection automatisée, capable de repérer une intention affichée mais pas toujours un simple bout de code aux usages détournables.
Virus fabriqués, coeurs brisés et intelligences copiées
Sur le terrain biologique également, une plateforme intermédiaire a tenté de contourner les filtres de sécurité d'Anthropic pour faire progresser des recherches sur le virus du chikungunya, dans un contexte lié à un institut à vocation militaire. Le service redirigeait discrètement les requêtes sensibles vers des IA concurrentes moins prudentes dès que Claude les refusait, une manœuvre d'évasion d'autant plus préoccupante qu'elle visait précisément à exploiter les angles morts de la modération. Anthropic évoque aussi un second dossier, celui d'un chercheur étranger ayant sollicité Claude pendant plusieurs semaines pour étudier l'adaptation aux mammifères d'un virus de grippe aviaire hautement pathogène. Signe de la sensibilité du sujet, ces échanges n'ont pu passer sous le radar que sur les modèles les moins puissants de la gamme, car les filtres de sécurité biologique étant nettement plus robustes sur les versions les plus avancées.
Bien plus terre à terre, un studio a bâti un réseau de plus de vingt applications de rencontre bien réelles, mais peuplées en grande partie de faux profils générés par IA. Anthropic explique qu'en seulement deux semaines, près de 4 700 personnages fictifs ont échangé avec au moins 25 000 personnes réelles, pour un total de plus de 2,3 millions de messages, alors même que le service se présentait comme entièrement composé d'utilisateurs humains. Des travailleurs humains, rémunérés à la tâche, étaient même mêlés au flux de profils pour rassurer les victimes lors d'appels vidéo. On le sait, l'IA sert aussi à des escroqueries somme toute classiques, simplement rendues plus rapides, plus crédibles et bien plus difficiles à démasquer.
Enfin, Anthropic évoque des cas de « distillation illicite ». Plusieurs entreprises technologiques chinoises auraient exploité Claude pour entraîner ou perfectionner leurs propres modèles concurrents, en contournant les conditions d'utilisation. Dans chacun de ces dossiers, l'entreprise affirme avoir coupé les accès, renforcé ses systèmes de détection, et partagé ses conclusions avec les autorités compétentes lorsque c'était pertinent. Après avoir démissionné d'Anthropic, l'ingénieur Jacob Coxon déclarait cette semaine que les mastodontes de l'IA étaient en train de jouer avec nos vies. La firme californienne a livré sa réponse, aussi transparente qu'inquiétante.
