Microsoft corrige le bug qui a permis la production d'images pornographiques de Taylor Swift

01 février 2024 à 06h36
8
Microsoft Designer est un outil permettant de générer des images à l'aide de l'IA © Poetra.RH / Shutterstock
Microsoft Designer est un outil permettant de générer des images à l'aide de l'IA © Poetra.RH / Shutterstock

Les deepfakes mettant en scène la chanteuse dans des positions suggestives auront au moins le mérite de bousculer le secteur. À l'instar de Microsoft, qui vient de renforcer ses garde-fous dans Designer.

Les programmes de génération d'images sont devenus tellement accessibles et performants qu'ils posent quelques problèmes alarmants. Il est désormais possible de mettre n'importe qui dans n'importe quelle posture, et les stars sont particulièrement exposées aux risques de détournement de leur image.

Taylor Swift en a récemment fait l'expérience, en mettant au passage en lumière l'inefficacité des équipes de modération de X.com (anciennement Twitter). Toutefois, le réseau social n'est pas le seul responsable dans cette histoire.

Comment détourner la modération en détournant le sujet ?

Lorsqu'il s'agit de générer des images à l'aide de l'intelligence artificielle, il y a l'embarras du choix. Cependant, les personnes qui ont généré les récentes et tristement célèbres images de Taylor Swift auraient, entre autres, utilisé Designer, un programme édité par Microsoft. C'est du moins la conclusion de 404 Media, qui a parcouru 4chan et Telegram pour remonter aux origines de l'affaire.

L'outil comporte pourtant des garde-fous pour éviter de tels débordements. Il y est par exemple impossible d'utiliser des prompts tels que « Taylor Swift nue ». Mais voilà, certains ont réussi à contourner ce dispositif en modifiant légèrement le nom de la célébrité visée, ou en décrivant une scène non sexuelle de telle manière à en obtenir une malgré tout. De sacrées failles, observées et confirmées par nos confrères de 404 Media.

Bien évidemment, tout cela ne fait pas bonne presse à la firme de Redmond, qui affirme ne pas avoir pu vérifier que les images de la star américaine diffusées sur X.com avaient été générées à l'aide de son outil. Elle a toutefois indiqué qu'elle prenait des mesures pour remédier au problème. « Nous disposons d'équipes importantes qui travaillent sur développement de garde-fous et d'autres systèmes de sécurité conformes à nos principes d'IA responsable », explique un porte-parole de l'entreprise.

Les swifties sont-ils à ce point effrayants que Microsoft a enfin décidé de renforcer ses mesures de protection ? © landmarkmedia / Shutterstock
Les swifties sont-ils à ce point effrayants que Microsoft a enfin décidé de renforcer ses mesures de protection ? © landmarkmedia / Shutterstock

Un feu qu'il sera difficile d'éteindre complètement

Visiblement, les équipes de Microsoft ont plutôt bien travaillé. Si 404 Media n'a pas réussi à reproduire l'expérience après avoir publié son premier article sur le sujet, les utilisateurs de 4chan et des canaux Telegram impliqués rapportent également de tels changements. Dans l'ensemble, il serait plus difficile qu'auparavant de générer une image comprenant le visage d'une personnalité avec Designer.

Satya Nadella, PDG de Microsoft, a déclaré à NBC News : « Il est de notre responsabilité d'assurer la sécurité de nos utilisateurs ». Il a insisté sur la nécessité pour les entreprises de la tech et les régulateurs de travailler ensemble, un discours déjà entendu depuis plusieurs mois du côté de la Silicon Valley. « Il s'agit d'une convergence sociétale à l'échelle mondiale sur certaines normes », ajoute-t-il, « je pense que nous pouvons faire beaucoup plus que ce que nous imaginons ».

L'affaire Taylor Swift a fait couler beaucoup d'encre, la Maison-Blanche s'étant même laissée aller à son propre commentaire. On ne peut qu'espérer que les choses évolueront dans le bon sens en matière de deepfake. En effet, les technologies de génération par l'IA font déjà partie de notre quotidien, et leur impact sur notre société dans son ensemble ne cesse de croître.

Source : 404 Media

Maxence Glineur

Geek hyper connecté et féru de podcasts, je suis toujours en train de lire ou écouter des points infos en tout genre. Entre histoire, tech, politique, musique, jeux-video et vulgarisation scientifique...

Lire d'autres articles

Geek hyper connecté et féru de podcasts, je suis toujours en train de lire ou écouter des points infos en tout genre. Entre histoire, tech, politique, musique, jeux-video et vulgarisation scientifique : toute l'actualité (ou presque) attise ma curiosité. Sinon, j'aime le rock et le lofi, les game-nights toujours trop longues, les bons films et les nanards.

Lire d'autres articles
Vous êtes un utilisateur de Google Actualités ou de WhatsApp ? Suivez-nous pour ne rien rater de l'actu tech !
google-news

A découvrir en vidéo

Rejoignez la communauté Clubic S'inscrire

Rejoignez la communauté des passionnés de nouvelles technologies. Venez partager votre passion et débattre de l’actualité avec nos membres qui s’entraident et partagent leur expertise quotidiennement.

S'inscrire

Commentaires (8)

superjoy
Taylor, tu as les coupables tout désignés! Le voila ton 2e milliard de $!
PPano
Et rien sur la personne concerner dans cette histoire précise ?
Bombing_Basta
Il est désormais possible de mettre n’importe qui dans n’importe quelle posture<br /> Sur de simples photos, c’est possible facilement, depuis aussi longtemps qu’il existe des programmes d’édition d’image hein.
crash3236
Evidemment, mais la facilité déconcertante et l’accessibilités des dits outils fait exploser le volume (et la qualité dans la plupart des cas)<br /> J’ai beau avoir de très solides compétences en Photoshop, j’ai testé et été impressionné des résultats de certains outils spécialisé tournant dans A1111, dans 80% des cas c’est ultra propre !<br /> Et c’est d’ailleurs toute la limite de ces démarches «&nbsp;raisonnées&nbsp;» autour de l’IA, si les outils des grands players (comme Microsoft ici) essaient de mettre plein de garde fous, c’est loin d’être le cas de tout ce que tu trouve à coté quand tu met un tout petit peu plus les mains dans le camboui
gothax
Madame Michu aura ses photos pornos générées par monsieur Voisindacote mais pas Taylor Swift ? Ou je me trompe ?
crash3236
Pas vraiment, d’après ce que je comprends, l’astuce ici permettait vraiment via prompt légèrement détourné (faute de frapes notament) de directement demander à l’IA la génération de l’image avec Taylor Swift, donc personnage connu, présente dans le model d’IA.<br /> Madame Michu elle elle est pas dans le model à priori, donc pas possible comme ça.<br /> Madame Michu elle elle est plutot concerné par du FaceSwap, la finalité est globalement la même mais pas la méthode. Et là comme je le disais au dessus, y’a pas grand chose à faire pour contrôler / limiter cela. Même si tu posais un moratoire absolu sur la technique (illusoire), ce qui est d’ores et déjà dispo est déjà sacrément puissant / efficace / rapide
pecore
Les fakes existent en effet depuis bien longtemps; Mais jusque-là, il ne s’agissait «&nbsp;que&nbsp;» de photos.<br /> Maintenant, on en est à mettre une personne en scène dans des films X, avec une telle fidélité qu’on pourrait penser qu’il s’agit bien de la personne dont l’image a été détournée. On ne peut sans doute même pas s’imaginer ce que les victimes de tels montages peuvent éprouver.
juju251
Bah, le consentement déjà …<br /> Il y a une immense différence entre s’exposer parce qu’on la choisi et se retrouver exposer contre son gré.
Bombing_Basta
Encore un qui doit croire que marcher en mini-jupe est une invitation au viol tu sais…
Voir tous les messages sur le forum
Haut de page

Sur le même sujet