Quelques photos retouchées par IA, un faux résumé d’une vidéo d’accident, et des centaines de volontaires ont gardé en mémoire des détails inventés de toutes pièces. Dans l’une de ces expériences, les participants ont mal répondu au test en sachant très bien que le texte sortait d’une machine.
Pattie Maes, professeure au MIT Media Lab, a montré 24 photos banales à 200 volontaires, un mariage ou une course à pied par exemple. Après une pause, une partie du groupe a revu ces images retouchées par IA, parfois animées en vidéo, avec des expressions de visage modifiées ou des personnes ajoutées dans le décor. Au test de mémoire, ces volontaires ont produit jusqu’à deux fois plus de faux souvenirs que le groupe témoin, avec davantage d’assurance dans leurs erreurs. « Je considère tout cela comme très dangereux, fondamentalement », a confié la chercheuse. Avec ces résultats, son équipe et d’autres laboratoires remettent en cause le garde-fou retenu par l’Union européenne. Dans l’AI Act, un contrôleur humain doit repérer les erreurs de la machine.
L’AI Act confie la vérification à une mémoire influençable
Mattea Sim est professeure adjointe de recherche au Massive Data Institute de l’université de Georgetown. Elle a testé ce garde-fou avec des collègues de l’université de Washington. Leurs 331 volontaires ont regardé une courte animation où une voiture rouge tourne à un carrefour, puis renverse un piéton. Un à deux jours plus tard, chacun a lu un résumé de la scène, avec le bon panneau routier ou un panneau changé par les chercheurs. Les lecteurs du résumé exact ont retrouvé le panneau de la vidéo dans 83,6 % des cas, contre 44,8 % avec la version fausse. Une partie des participants savait que le texte venait d’une IA, et leurs réponses ont été tout aussi fausses. « L’IA est un nouveau moyen de diffuser de la désinformation », prévient Mattea Sim.
Les législateurs européens ont confié à ce contrôleur humain la surveillance des systèmes d’IA à haut risque, police comprise. D’après l’article 14 du règlement, ces contrôleurs doivent pouvoir ignorer ou inverser une sortie de la machine et connaître le biais d’automatisation. En clair, un contrôleur doit savoir qu’il risque de croire une IA trop vite. Les volontaires de Georgetown le savaient, et leur souvenir de l’accident a été modifié malgré tout.
Aux États-Unis, des services de police testent des résumés d’images de caméras-piétons générés par IA, et Mattea Sim veut étudier ces rapports. En Europe, les eurodéputés et les États membres ont repoussé ces obligations au 2 décembre 2027 pour les systèmes autonomes à haut risque, dans le recrutement ou la police.
Résumés de notifications et chatbots, vos souvenirs sous influence
Si vous lisez chaque jour le résumé d’un mail ou d’une réunion préparé par un assistant IA, vous êtes à la place des volontaires de Georgetown. Au MIT Media Lab, 54 personnes chargées d’écrire des dissertations ont servi de cobayes à une autre expérience. Celles qui écrivaient avec ChatGPT ont eu nettement plus de mal à citer des passages de leur texte, quelques minutes après l’avoir rendu.
Sous le nom de la BBC, des propriétaires d’iPhone ont ainsi lu en décembre 2024 un résumé d’Apple Intelligence avec l’annonce du suicide de Luigi Mangione. L’homme, accusé du meurtre du patron d’UnitedHealthcare, était bien vivant.
Des chercheurs du MIT et de l’université de Californie à Irvine ont fait interroger des témoins d’une vidéo de crime par un chatbot et ces témoins ont produit trois fois plus de faux souvenirs que le groupe sans interrogatoire. Une autre équipe a implanté chez des volontaires le souvenir de scandales politiques inventés, avec des textes ou des deepfakes, jusqu’à réduire leur intention de vote.
Avant de retenir un chiffre ou une citation lue dans un résumé, prenez le temps d’ouvrir le texte d’origine. Apple permet aussi de désactiver ces résumés dans les réglages de notifications, application par application.
L’équipe de Pattie Maes développe en parallèle Memoro et MemPal. Avec ces deux assistants de mémoire couplés à des appareils portables, les chercheurs veulent aider des personnes âgées à retrouver une conversation oubliée ou leurs clés.
