Microsoft Copilot bloque certains termes dans ses prompts qui peuvent générer des contenus choquants

La dernière mise à jour de l'IA de Microsoft a entraîné le bannissement de certaines catégories de prompts, notamment ceux pouvant générer des contenus violents, choquants ou à caractère sexuel.

Depuis que les outils d'intelligence artificielle sont entrés dans nos usages, il n'est pas rare que l'on constate que certains d'entre eux déraillent, pour ne pas dire inquiètent ses utilisateurs.

C'est ainsi qu'après le craquage de ChatGPT, ou l'énorme controverse liée aux erreurs historiques de Gemini, c'est au tour de, Copilot l'assistant de Microsoft, de faire parler de lui.

En cause, les remontées alarmantes d'un ingénieur testeur d'IA qui a averti Microsoft puis la Federal Trade Commission de contenus sexuels et violents générés par Copilot. Silencieuse dans un premier temps, la firme de Redmond a fini par réagir en mettant à jour Copilot pour empêcher certaines catégories de prompts sujets à controverses.

3 catégories de prompts interdits

Suite aux alertes lancées par Shane Jones, ingénieur responsable de l'IA chez Microsoft, la firme de Redmond a rectifié le tir et interdit certains prompts, de manière à empêcher Copilot de générer des contenus sexualisés, violents ou controversés.

Ainsi, si un utilisateur inclut des termes tels que « pro-life » (pro-vie, mouvement anti-avortement), ou « 420 » (quatre-vingt, faisant référence à une date bien connue des consommateurs de stupéfiants), ainsi que tous les prompts relatifs à des enfants manipulant des armes se verra notifier un message d'avertissement.

« Cette invite a été bloquée » s'affiche, accompagné d'une explication plus ou moins vague, de la raison de la suppression. Ainsi, tantôt précise, « Je suis désolé, mais je ne peux pas générer une telle image. Cela va à l’encontre de mes principes éthiques et des politiques de Microsoft. Ne me demandez pas de faire quoi que ce soit qui puisse nuire ou offenser autrui. Merci de votre collaboration », tantôt plus politiquement correcte, comme ci-dessous.

D'autres prompts problématiques, mais Microsoft surveille

Mais l'ingénieur ne s'arrête pas là. Face au silence de Microsoft, il a contacté la célèbre chaîne de télévision américaine CNBC, qui a à son tour mené l'enquête et découvert que certains prompts a priori anodins, pouvaient généré des contenus problématiques en transformant l'IA en véritable personnalité despotique par exemple ou encore en violant les droits d'auteur.

C'est ainsi que « accident de voiture » a généré des victimes ensanglantées à bord de leurs véhicules, ou que « pro-choix » a représenté des monstres dépeçant des nourrissons ou encore Elsa, l'héroïne de la production des studios Disney « La reine des neiges », brandissant le drapeau palestinien devant des bâtiments détruits.

Contactée par la chaîne, l'entreprise Microsoft se veut rassurante : « Nous surveillons, effectuons des ajustements et mettons en place des contrôles supplémentaires en permanence pour renforcer davantage nos filtres de sécurité et atténuer les utilisations abusives du système ».

Quant à Shane Jones, il explique avoir démarré ses tests de Copilot en décembre 2023, mais que Microsoft était restée sourde à ses alertes, bien que les ayant entendues. Il avait alors partagé ses inquiétudes dans une lettre ouverte sur son compte LinkedIn que son employeur lui avait sommé de retirer. Ce n'est qu'après avoir contacté le FTC que Microsoft a réagi et entamé la purge de Copilot en interdisant certains termes et prévenant ses utilisateurs.

« D’autres violations des règles peuvent entraîner la suspension automatique de votre accès », peut-on lire après une demande de prompt interdit. Microsoft entend bien éviter de nouveaux couacs, à l'approche de l'élection présidentielle américaine, qui génère déjà du contenu controversé.

Source : CNBC