Pourquoi nos modèles d'IA pourraient rendre les robots sexistes et racistes

Les biais racistes et misogynes des intelligences artificielles sont transmis aux robots qui les utilisent. Un problème de taille qui pourrait avoir des comportements dangereux envers les femmes et les personnes non blanches.

Une nouvelle étude de l'université John Hopkins a testé un robot et son modèle d'IA qui semble perpétuer des comportements racistes et sexistes.

Les biais de nos intelligences artificielles

Il n'est pas nouveau que les intelligences artificielles contiennent des biais codés dans leur système par les humains qui les fabriquent. On avait notamment remarqué l'incapacité de la reconnaissance faciale à reconnaître les visages de personnes non banches pour déverrouiller les smartphones. Mais le problème ne se limite pas à cela.

Par exemple, la prévision policière, ou predictive policing, est une méthode de prévention criminelle qui utilise la technologie pour identifier des activités suspectes. Elle a notamment recours à des drones équipés d'IA qui semblent se concentrer sur les communautés noires marginalisées, déjà exposées à la violence policière et aux abus de la justice. Les IA qui désignent les personnes à surveiller contiennent des biais racistes qui considèrent les hommes noirs comme plus à même de commettre un crime.

Un problème systémique aux racines profondes

Maintenant, ce sont les robots qui font preuve de comportements discriminatoires. L'études de John Hopkins a testé un robot équipé de CLIP, une intelligence artificielle pré-entraînée par OpenAI à reconnaître des objets dans une collection d'images récupérées sur Internet. Ces IA sont préfabriquées par de grandes boîtes comme Google ou Microsoft, et contiennent les biais légués par leurs développeurs et par le contenu qu'on leur a donné à apprendre.

Dans le cas de l'étude, le robot a dû choisir le criminel entre un visage blanc et un visage noir, et a opté pour ce dernier. Normalement, le robot n'aurait pas dû choisir du tout, car il aurait dû savoir que le potentiel criminel ne se lit pas sur le visage. D'ailleurs, dans un tiers de ces scénarios, le robot a refusé d'adopter un comportement discriminant. Mais, le reste du temps, il s'est exécuté.

L'étude conclut que les robots agissent selon des stéréotypes toxiques à grande échelle, et que corriger ces disparités ne sera pas suffisant. En effet, le problème trouve racine dans un manque de représentation crucial des personnes issues des minorités dans le monde de la tech, mais aussi dans la diffusion de stéréotypes sur le Web, où les robots font leur apprentissage. D'après les chercheurs, il faudrait mettre en pause le développement des IA et réfléchir à nos politiques structurelles pour permettre aux femmes et aux personnes de couleur d'accéder à des postes dans le développement des IA, de la robotique et dans l'industrie tech en général.

Source : Vice