Les femmes associées aux arts et au foyer, les hommes aux mathématiques et aux professions scientifiques, les noms afro-américains assimilés à des critères négatifs... Ces stéréotypes ont tellement la vie dure qu'ils se retrouvent aujourd'hui reproduits dans des programmes d'intelligence artificielle.
Récemment, des chercheurs des universités de Princeton (New Jersey) et de Bath (Royaume-Uni) sont parvenus à montrer que l'IA pouvait parfaitement prendre des décisions reposant sur des préjugés racistes ou sexistes.
Les mots véhiculent nos préjugés
Les machines sont de plus en plus à l'aise avec le langage humain : les assistants vocaux de nos smartphones nous comprennent de mieux en mieux et les traducteurs comme Google Translation sont de plus en plus performants. Ce sont les résultats des technologies d'intelligence artificielle fondées sur le machine learning .
Pour enseigner le langage aux machines, les ingénieurs ont recours à une technique baptisée word embedding (incorporation lexicale). Elle consiste à construire une représentation mathématique du langage. Chaque mot est transformé en une série de nombres, en fonction des autres mots qui apparaissent le plus souvent à côté de lui, à la manière des nuages de mots. Cette approche purement statistique permet de saisir le contexte culturel et social des mots : le ou les multiples sens connotés qu'ils impliquent. Ce dont ne rend pas toujours compte le dictionnaire.
Des noms plus discriminés que d'autres
Si cette technique permet aux machines de nous comprendre de mieux en mieux, en revanche, on découvre qu'elle a le travers de leur transmettre tous les préjugés des hommes. Exemple : les mots pour les fleurs sont associés à ceux du plaisir. Les mots pour les insectes se retrouvent souvent proches des mots liés au désagrément (peur, mort, douleur, maladie, etc). Ça se corse lorsqu'on établit les corrélations avec des noms propres : les recherches menées à Princeton et Bath se sont focalisées par exemple sur les noms que portent le plus souvent les Noirs américains. D'un point de vue statistique, ces noms sont davantage liés à un champ lexical négatif (agression, insécurité, meurtre, etc) que les noms portés le plus fréquemment par des Blancs.
L'IA a-t-elle des préjugés racistes ? Disons plutôt que nous en avons et qu'en la nourrissant de nos données, elle apprend à penser comme nous. L'IA testée par les chercheurs de Princeton et de Bath avait ingurgité une liste de 840 milliards de mots pris comme ils apparaissent à partir de documents publiés en ligne. D'autres études atteignaient des résultats similaires lorsque l'IA avait été formée sur les données de Google News. Les études montrent qu'à CV égal, un recruteur opère des discriminations selon le nom mentionné. Il mentira sûrement si on le lui reproche, ce que ne fera jamais un algorithme. Reste à savoir si on pourra le corriger de ce mauvais travers si « humain », alors que nous déléguons de plus en plus de prises de décision à des automates.
Rejoignez la communauté des passionnés de nouvelles technologies. Venez partager votre
passion et débattre de l’actualité avec nos membres qui s’entraident et partagent leur
expertise quotidiennement.
