Pourquoi nos modèles d'IA pourraient rendre les robots sexistes et racistes

15 juillet 2022 à 13h20
55
faceid
© cottonbro / Pexels

Les biais racistes et misogynes des intelligences artificielles sont transmis aux robots qui les utilisent. Un problème de taille qui pourrait avoir des comportements dangereux envers les femmes et les personnes non blanches.

Une nouvelle étude de l'université John Hopkins a testé un robot et son modèle d'IA qui semble perpétuer des comportements racistes et sexistes.

Les biais de nos intelligences artificielles

Il n'est pas nouveau que les intelligences artificielles contiennent des biais codés dans leur système par les humains qui les fabriquent. On avait notamment remarqué l'incapacité de la reconnaissance faciale à reconnaître les visages de personnes non banches pour déverrouiller les smartphones. Mais le problème ne se limite pas à cela.

Par exemple, la prévision policière, ou predictive policing, est une méthode de prévention criminelle qui utilise la technologie pour identifier des activités suspectes. Elle a notamment recours à des drones équipés d'IA qui semblent se concentrer sur les communautés noires marginalisées, déjà exposées à la violence policière et aux abus de la justice. Les IA qui désignent les personnes à surveiller contiennent des biais racistes qui considèrent les hommes noirs comme plus à même de commettre un crime.

Un problème systémique aux racines profondes

Maintenant, ce sont les robots qui font preuve de comportements discriminatoires. L'études de John Hopkins a testé un robot équipé de CLIP, une intelligence artificielle pré-entraînée par OpenAI à reconnaître des objets dans une collection d'images récupérées sur Internet. Ces IA sont préfabriquées par de grandes boîtes comme Google ou Microsoft, et contiennent les biais légués par leurs développeurs et par le contenu qu'on leur a donné à apprendre.

Dans le cas de l'étude, le robot a dû choisir le criminel entre un visage blanc et un visage noir, et a opté pour ce dernier. Normalement, le robot n'aurait pas dû choisir du tout, car il aurait dû savoir que le potentiel criminel ne se lit pas sur le visage. D'ailleurs, dans un tiers de ces scénarios, le robot a refusé d'adopter un comportement discriminant. Mais, le reste du temps, il s'est exécuté.

L'étude conclut que les robots agissent selon des stéréotypes toxiques à grande échelle, et que corriger ces disparités ne sera pas suffisant. En effet, le problème trouve racine dans un manque de représentation crucial des personnes issues des minorités dans le monde de la tech, mais aussi dans la diffusion de stéréotypes sur le Web, où les robots font leur apprentissage. D'après les chercheurs, il faudrait mettre en pause le développement des IA et réfléchir à nos politiques structurelles pour permettre aux femmes et aux personnes de couleur d'accéder à des postes dans le développement des IA, de la robotique et dans l'industrie tech en général.

Source : Vice

Soyez toujours courtois dans vos commentaires.
Respectez le réglement de la communauté.
55
50
cid1
On ne produit que des choses à notre image, et comme il y a aux USA beaucoup de gens qui sont discriminant par rapport aux Afro-Américains et aux typés Arabe, on se retrouve avec des IA raciste, c’est valable pour la Belgique et la France aussi où l’on trouve beaucoup de discrimination et dans bien d’autres pays Européens.
Guillaume1972
Une des solutions ne serait elle pas de bannir les réseaux sociaux de leur « apprentissage »?
Jack_Pangolin
Aux US, où les statistiques ethniques sont autorisées, on a des chiffres sur la susceptibilité de telle ou telle ethnie à commettre tel ou tel crime. Rien d’étonnant à ce que des algo de prédiction en tiennent compte.<br /> Ce qui est plus choquant est l’existence de ces algo, mais c’est une autre question.<br /> Par exemple, je suis à peu prés certain que ces algo vont aussi suspecter en priorité les hommes plutôt que les femmes, puisqu’il y a beaucoup plus d’hommes qui commettent des homicides par exemple. Doit-on crier au scandale ici ? Apparemment non.<br /> Autre point, et j’en reste là car ça pourrait durer des heures, ça fait des décennies qu’on encourage les jeunes femmes à faire des études d’info. Aucun pays n’a jamais réussi à faire décoller leurs chiffres, même pas en Scandinavie, qui est pourtant souvent citée pour ses efforts dans la recherche idéologique de l’égalitarisme.<br /> A un moment il va falloir réécouter les neuro-chirurgiens et autres ethnologues qui depuis longtemps décrivent les différences d’appétence selon les sexes.
Francis7
C’est marrant, cette histoire d’IA raciste. Il ne faut pas mettre de robots policiers ou contrôleurs dans le métro.
octokitty
Pour la reconnaissance faciale, de gros progrès ont été faits en 10 ans, avec des caméras infrarouges, les scan 3D avec l’implémentation de TrueDepth…<br /> Pour le problème du biais, il ne semble pas y avoir de choix que faire du « révisionnisme positif » puisque certains faits ne peuvent pas être changés, dans certains domaines et notamment dans le « law enforcement » : suppression des anciennes datasets, entraîner l’IA à l’aide de DeepFakes en modifiant l’identité des criminels dans les scènes capturées, manipuler les statistiques, décaler les biais en modifiant le comportement de la police en ne tenant plus compte des délits légers…
MqcdupouletBasquez
C’est un sujet délicat où soit on est d’accord avec l’article qui accepte que le problème d’un algorithme, c’est qu’il ne fournit pas un résultat voulu et désiré.<br /> Soit on est un dangereux facho réac qu’il faut sanctionner par tous les moyens et humilier publiquement.<br /> l’entre 2 et le simple échange intelligent n’étant donc pas autorisé.<br /> C’est un monde vraiment étrange
Panicstation
Il faut aussi admettre que, depuis un moment, si tu es un « Homme Blanc Hétérosexuel », tu es l’incarnation du mal…
Theodri
Une IA qui doit s’en prendre aux plus pauvres qu’aux puissants en plus
baal-fr
Jack_Pangolin:<br /> Aux US, où les statistiques ethniques sont autorisées, on a des chiffres sur la susceptibilité de telle ou telle ethnie à commettre tel ou tel crime.<br /> Les statistiques ethniques existent aussi en France quand ça a une utilité autre que compter pour compter.
baal-fr
Jack_Pangolin:<br /> Autre point, et j’en reste là car ça pourrait durer des heures, ça fait des décennies qu’on encourage les jeunes femmes à faire des études d’info. Aucun pays n’a jamais réussi à faire décoller leurs chiffres, même pas en Scandinavie, qui est pourtant souvent citée pour ses efforts dans la recherche idéologique de l’égalitarisme.<br /> Et ça fait des décennies qu’on dit qu’il ne suffit pas d’encourager pour que le problème ne persiste pas.<br /> Jack_Pangolin:<br /> A un moment il va falloir réécouter les neuro-chirurgiens et autres ethnologues qui depuis longtemps décrivent les différences d’appétence selon les sexes.<br /> Miam de la belle evopsy.
Bidouille
Comme disait Coluche :<br /> “Dieu a dit, il y aura des hommes blancs, des hommes noirs, il y aura des hommes grands, des hommes petits. Il y aura des hommes beaux, des hommes moches et tous seront égaux, mais ça sera pas facile.”<br /> Coluche n’a pas attendu l’IA pour s’en rendre compte.
Nmut
Si tu fait une IA qui détecte les délits d’initiés, la fraude fiscale ou le blanchiment, je parie que l’on ne trouvera pas de pauvres…<br /> Le problème, c’est que les IAs donnent des résultats proches des statistiques! Et ce n’est pas le fait de faire des spécialistes de l’entrainement de couleur ou des femmes qui changera quoique ce soit, les erreurs sont dus aux problèmes bien connus des IAs: les biais à l’entrainement et les résultats qui ne correspondent pas aux attentes et sont éliminés sans qu’il y ait d’analyse du pourquoi.
Paul_Hewson
Elle a notamment recours à des drones équipés d’IA qui semblent se concentrer sur les communautés noires marginalisées, déjà exposées à la violence policière et aux abus de la justice<br /> Source sur une telle affirmation ? Ça ressemble à une idée préconçue de l’auteur de l’article, pas à un fait. Ah, le biais inconscient, l’ironie…<br /> C’est quoi cet article sérieusement ? Comme dit plus haut, on n’a pas fui numerama pour en retrouver l’équivalent ici…
tux.le.vrai
Faire la différence entre les hommes et les femmes c’est être misogyne ?
bennukem
C’est comme les races, ce sera effacé des livres de biologie.
carinae
Suis pas sur que ça ne soit qu’un problème américain. En France et en Europe on fait aussi des IA. Le problème pourrait être du à pleins de facteurs. Au modèle d’entrainement, aux difficultés a appréhender les différences physiques… Bref du code reste du code…
Nmut
Juste une remarque: ça n’a jamais été dans les livres de biologie, puisque ça n’existe pas biologiquement. C’est plus probablement dans les livres d’histoire que tu voulais dire? Ou dans la littérature en général?
Bondamanmanw
Mdr, une I.A raciste, attention aux retour de flammes, une I.A programmée de manière raciste peut-être reprogrammée pour être racistes envers les blancs, les super-programmeurs de ce monde ne sont pas tous blancs, Terminator il a bien été reprogrammé, lol.
Kratof_Muller
Le mérite, c est le mérite, blanc ou noir pas besoin d excuse minoritaire, quand tu fais mieux ou au moins aussi bien que les autres, tu trouveras ta place, pas besoin de quotas.<br /> Le mérite c est pragmatique si l évaluation est objective et honnête.<br /> Que penser de ce gouvernement paritaire 21/21, c est pragmatique ou idéologique ?<br /> Et ces IA américaines, que dire, effectivement les stats ethniques sont autorisées et pourquoi, sans doute par culture, les pays anglo-saxons sont majoritairement protestants, la pensée spirituelle et du monde y est plus concrète et pragmatique.<br /> Très hypocritement d ailleurs si tu es plus riche et plus fort, Dieu t as choisit, il n y a donc pas de problèmes pour écraser le faible et étaler richesse et puissance.<br /> Le pragmatisme fera peu attention aux dommages collatéraux, tant qu il respecte l’ordre des nombres et quantites<br /> Et puis la reconnaissance faciale et les ia ne sont plus la prédilection américaine, la Chine a 10 à 20 ans d avance en la matière.
cid1
Si tu avais lu mon post en entier tu te serais rendu compte que dans la deuxième partie de mon post je dis que c’est valable aussi pour la Belgique et la France et plus loin j’écris « et dans bien d’autres pays Européens. »<br /> je suis d’accord avec toi que ce n’est que du code, mais tu trouveras quand même bizarre que ces IA deviennent racistes et misogynes.
AllanTK
Mon message a été supprimé alors que je n’ai rien dit de rédhibitoire…
iodir
C’est sûr que les IA sont racistes. Le modèle du Terminator était un grand blond aux yeux bleus venant d’Autriche. Si c’est pas une preuve ça…<br /> LA solution. Interdire la programmation à tous les mâles blancs, et délocaliser ce qui reste encore à délocaliser en Inde. Là, on est sûr qu’il n’y aura plus de biais.
pjc
Moi, si j’étais Wokiste, je mettrais les meilleurs codeurs africains sur le dossier de la reconnaissance faciale, pour développer les algos non racistes…<br /> Et hop ! ce serait plié, merci, bonsoir.
eaglestorm
ces IA se nourrissent des données trouvées sur internet surtout<br /> c’est pas vraiment l’algo le problème
cid1
Donc on les stimules pas avec des règles, genre les trois lois de la robotique d’Isaac Asimov.<br /> enfin s’ils sont branchés sur internet avec les conneries qu’on peut y trouver…
Blackalf
AllanTK:<br /> Mon message a été supprimé alors que je n’ai rien dit de rédhibitoire…<br /> 6. Publiez des messages utiles<br /> Chaque participation a vocation à enrichir la discussion, aussi les partages d’humeurs personnelles ne doivent pas venir gêner le fil des échanges.<br /> Charte de la communauté Clubic Débat sur l'actu<br /> Charte de la communauté Clubic <br /> Cette charte propose quelques règles de conduite qui favoriseront des échanges respectueux et constructifs entre membres de la communauté. Merci à tous et à toutes de faire votre maximum pour respecter ces consignes. N’hésitez pas à solliciter l’aide des modérateurs si vous estimez que des discussions dépassent les limites fixées par cette charte. <br /> 1. Participez aux discussions <br /> Nous encourageons chacun à exprimer ses idées sur les sujets qui l’intéressent, et à f…<br />
Zakalwe
C’est inexact pour l’information du public. Mais exact pour la recherche universitaire dont les travaux ne sont (quasiment) jamais communiqués au dit grand public.
Zakalwe
Alors il faut faire quoi, changer le code génétique des femmes pour avoir des codeuses ? Sinon, quelle est ta solution ?<br /> L’info n’interesse pas les filles (@99% … il y a toujours des exceptions, comme pour tout…)
Palou
AllanTK:<br /> Mon message a été supprimé alors que je n’ai rien dit de rédhibitoire…<br /> Ton message a été effacé suite à un post à qui tu répondais qui a été supprimé !
Sampro
Pourquoi ? La réponse est si simple parce que IA n’es que la résultante de ce que nous sommes nous humains et quoi nous faisons, nous faisons une image de ce que nous sommes simplement.
Bombing_Basta
Non, tu es l’incarnation du mal quand tu es un homme blanc hétérosexuel qui considère qu’il faut renvoyer les noirs en esclavage, éliminer les homos, et que mettre des baffes à une femme pour la « calmer » cette « hystérique », c’est la base…
baal-fr
Hum hum. <br /> fr.wikipedia.org<br /> Femmes dans l'informatique<br /> Pages pour les contributeurs déconnectés en savoir plus<br /> Navigation<br /> Contribuer<br /> Outils<br />
Bombing_Basta
Une chose est sûre, on enlèvera pas le concept de race, du cerveau des racistes.
Zakalwe
Donc le gvt US est raciste.
SplendoRage
Tous les êtres humains sont par définitions racistes … Nous avons catalogué toutes les espèces animales de cette façon.<br /> Donc il est raciste de dire qu’un husky est un husky puisque husky est une race alors que c’est un chien ! Donc, l’humain est raciste, CQFD !<br /> En conséquence, par définition, tu es raciste !
baal-fr
C’est pas la définition du racisme.
pecore
Les nouvelles lois de la robotique. Asimov a fait son temps.
Cmoi
À partir du moment où (en France) l’ « encadrement » de ces statistiques est si stricte, cela devient difficile de réaliser un travail intéressant qui pourrait servir à résoudre des problèmes.<br /> La loi sur les statistiques éthiques → Statistiques ethniques | Insee
baal-fr
Ca veut dire quoi « intéressant » ? Les stats sont déjà utilisées pour, par exemple, quantifier les discriminations à l’emploi et aux logements.
Bombing_Basta
Débilité.<br /> Les chiens sont une manipulation génétique opérée par l’homme sur l’espèce canis lupus.<br /> D’ailleurs, un loup blanc n’aura aucun scrupule à copuler avec un loup noir, car la couleur il s’en tape, car c’est la survie de son espèce qui prime, pas que sa descendance soit de « pure couleur ».<br /> Les races sont une invention humaine, pour définir des caractères physiques résultants de choix opérés sur les espèces que l’homme a domestiquées, ou pour expliquer de manière barbare les différences opérées par la sélection environnementale sur sa propre espèce.<br /> Ça n’a aucune valeur biologique, la « race ».<br /> En revanche on peut dire que l’homme a une propention à la xénophobie, comme toute espèce animale, un clan de bonobos défend son territoire face à un autre clan de bonobos car c’est son moyen de subsistance, pas parce-qu’il a les yeux plus bridés ou le cul plus foncé.<br /> Sauf que l’homme, et il n’arrête pas de s’en targuer, a l’intelligence, la réflexion, et est capable de gérer ce genre de conflits, de gérer et partager équitablement les ressources, si il le veut.<br /> Mais non, il préfère continuer d’agir comme un animal dénué de toute réflexion, mué en par des instincts territoriaux.<br /> Et les gens comle toi essaient de se justifier en engluant tout le monde dans la même mélasse puante.
Jacob1337
Bon courage les modos. Pas étonnant que les IA tournent « racistes » quand on sait qu’elles se nourissent de tout ce qu’on trouve sur internet. Et ça commence par cette tribune répugnante de vomi raciste/homophobe et 100% boomer que ce sont ces commentaires.<br /> Vous saoulez les gens, retournez au moyen âge.<br /> Il va peut-être falloir arrêter d’aborder certains sujets ici, car ça sent quand même super bon l’extrême droite dans les commentaires Clubic dernièrement.
Ujilen
J’ai pas pour habitude de commenter mais :<br /> « Un problème de taille qui pourrait avoir des comportements dangereux envers les femmes et les personnes non blanches. »<br /> Le racisme est partout, envers tous. Blanc, métis, … homme, femme, bi… liste non exhaustive, mais vous m’avez compris.
SplendoRage
Il est socialement « intégré » qu’une personne est raciste du moment où elle va à l’encontre même d’un dogme politisé de masse … Ce dogme on le connait tous … L’homme blanc cisgenre est … raciste !<br /> C’est établit … C’est un fait. Il suffit de voir sur les réseaux sociaux …<br /> Sauf que tu oublies un détail … C’est que TOUT LE MONDE est raciste par définition ! Pourquoi ? C’est simple … Le communautarisme !! Bah oui, les individus se regroupent par religion, ethnie, couleur de peau, langue, pays d’origine, etc … Ce qui fait même du fondement d’une communautés basée sur l’ethnie ou autre (Ce qui est le cas partout en réalité !), la plus grosse forme de racisme et de xénophobie qui existe !<br /> Un blanc dans un communauté hispanique ? Hanhan … T’en trouvera pas … Les communautés noires issues des banlieues américaines par exemple sont très fermées et les blancs, asiatiques, et hispaniques y sont très mal vu … Idem pour les communautés asiatiques (chinoises, coréennes, japonaises … Elles ne se mélangent pas entre elles et si tu as le malheur de te tromper entre un japonais et un coréen, il y a de forte chance que tu sois bon pour une visite chez le dentiste). Si tu es noir et que ta copine d’origine chinoise te présente à ses parents, il va y avoir beaucoup d’étincelles voir même un incendie quand le paternel va sortir le lance flamme !<br /> Chez les LGBT+, dit toi que les gay et les lesbiennes considèrent les bi comme des gens indécis sur leur sexualité, les hommes transgenres tirent à boulet rouge sur les gays et les lesbiennes parce que ces derniers ne savent pas dans quelle case les mettre (sont-il homosexuels ? Pansexuels ? Bisexuels ? etc …), les gay et les lesbiennes ne peuvent pas se blairer (faut les voir en dehors de la gay pride tout ce qu’ils arrivent à se balancer les uns sur les autres, ça en devient gênant des fois) … Et avec tout ça, il y a les queers qui sont rejetés par les trans, etc, etc etc …<br /> Tu ne veux plus de racisme ? Alors il va falloir briser tous les murs de toutes les communautés possible et imaginables !! Mais ça … C’est impossible ! Car chaque communauté voudra toujours avoir l’ascendant sur toutes les autres et ça que tu le veuilles ou non.<br /> En France par exemple, un étudiant apolitique ou de droite se verra fermer de nombreuses portes au niveau sociétale et vie étudiante car n’étant pas de gauche … Ca aussi, c’est un fait … On a des étudiants, blancs, qui sont rejeter de certains groupes car étant blanc … En France … Et c’est même argumentés et justifiés par des personnes politiques ou médiatisées !<br /> J’ai grandis avec les notions de tolérances, d’acceptations et de respect d’autrui étant moi même issue de la mixité (quel mot à la con ça aussi … Les arabes du quartier me traitaient de face de craie ou m’appelait « blanchette », et les français de souche, de bougnoule. Du coup … D’un côté comme de l’autre, j’en prenais plein la gueule !! Yeaaaaaah !!!). Hors depuis la fin des années 80 jusqu’à récemment, il n’était pas question de communauté mais du « vivre ensemble au delà des différences et de briser les barrières » sauf qu’aujourd’hui, les mentalités vont à contre-sens et au regroupement et catalogage par couleur de peau, orientation sexuelle, inspiration politique, etc …<br /> Mais … Les blancs aussi sont racistes entre eux ! Crois tu que dans les banlieues des grandes villes nord-américaines les italiens se mélangent aux irlandais ? Ils ne peuvent pas se blairer ! Et c’est d’autant vrai depuis les années 20 ! Chaque gros quartier des grandes villes américaines est subdivisée par l’origine de ses habitants. Si ça, c’est pas une forme de racisme, c’est quoi ? … Culturel ? Si tu es irlandais et que ton copain est italien, déjà accroche toi, parce qu’en plus de la barrière des origines, tu vas aussi avoir la barrière culturelle liée à l’homosexualité en pleine gueule !<br /> Et ça … C’est « vous » qui en êtes responsable !!! Et n’en déplaise, oui, les noirs sont racistes, les asiatiques sont racistes, les hispaniques sont racistes, les arabes sont racistes et les blancs sont racistes entre eux. Tout le monde l’est …<br /> Maintenant, vaut mieux se mettre un bandeau sur les yeux, se boucher les oreilles et ignorer ce qui se passe devant soit … Bienvenue à l’aube du 21e siècle …<br /> Et oui, je sais … Quand on regarde les choses de ce point de vu, ça fait peur et ça met pas à l’aise …<br /> Et ça me fait toujours rire que l’on me voit comme raciste quand je tiens ce discours car j’ai génétiquement hérité des yeux, de la couleur de peau et du type et couleur de cheveux de mon père biologique alors que mon autre moitié provient des origines nord africaine de ma mère ! Yep yep yep … Mais au moins, les gens sont tellement salés que je ne risque pas d’être à court pour cuisiner <br /> Et quand les gens avec qui j’aborde ce sujet apprennent pour mes origines, étrangement … La discussion tourne assez vite à des « Aaaaah baah je savaaaais paaaaas ! C’est géniaaaal ! T’es vraiment issue de la diversitéééééé !! » Et blablabla … ! Mais comme je l’ai dis, quand j’étais petite, d’un côté les uns m’appelaient Blanchette, et de l’autre, de bougnoule … !<br /> Et à ça, j’ai qu’une chose à dire. Prenez votre diversité, et mettez là vous où je pense … Parce que c’est juste qu’une immonde hypocrisie ignoble qui est tout bonnement à gerber !<br /> Maintenant, vous pouvez report ! ;o
bennukem
Et tu trouves pas ça surprenant que tu n’ais jamais vu un livre de biologie qui en parlerait, que ce soit vrai ou faux d’ailleurs ?<br /> Même le mec qui a découvert l’ADN (pas n’importe qui hein) s’est fait dégager comme un malpropre car il a osé émettre l’hypothèse que ça existe. Il y était allé avec des pincettes pourtant.<br /> Il semble que les aborigènes d’Australie ne soit même pas de la même branche que nous.<br /> Je suis convaincu que les races existent, chacune avec ses qualités et défauts. Suffit de regarder les grands champions du 100m et autres par exemple. Ça ne trompe personne.
suRy
OUIIIII et en plus je n’ai pas d’âme O_O x’D
Nmut
Je suis tout à fait d’accord que certaines ethnies ont développé certaines capacités spécifiques. N’empêche que la notion de race est suffisamment précise pour juste dire que l’espèce humaine n’a pas plusieurs races. Si u me sors le yeti ou big foot, ok, mais les différences génétiques même des aborigènes australiens, certaines populations d’iles polynésiennes ou d’Amérique du sud ne justifient pas biologiquement, à ma connaissance, le terme de race. Après, on peut probablement avoir plusieurs interprétation du terme « race »…
Ayetek
Il y a toujours un effet de seuil en terme d’immigration, réel ou ressenti. Incontrôlée, elle déstabilise les peuples et les cultures. Il n’y a qu’à voir le Danemark avec ses 6 millions d’habitants qui rigidifie les conditions d’accès à son territoire. D’autres comme la Suisse ou le Luxembourg, pour rester dans les petites surfaces géographiques, limitent de manière drastique l’accès à leur territoire.<br /> Après quand un spécialiste des populations (sur la Chaîne parlementaire dans Débat Doc) vous dit que l’Afrique va passer de 1.4 millions à 2.5 millions d’individus d’ici à 2050, on pressent que l’Europe n’a pas fini de se déchirer sur de futures « invasions » massives. Entre la surpopulation d’un côté, les urgences climatiques de l’autre, les frictions entre peuples iront croissantes. Et le numérique mondialisé favorise encore plus les velléités de mouvement des uns et des autres. Entrevoir facilement les richesses réelles ou supposées au loin, plus un éventuel cousin déjà là-bas, voilà des stimulants forts pour les candidats au départ.<br /> Enfin cette histoire d’IA qui désigne plutôt un noir qu’un blanc, comme criminel supposé, va-t-elle d’abord puiser dans les données de quota de population carcérale pour se trouver un coupable type, puis dans des statistiques de criminalité tenant compte des origines ethniques ? En France, certains avaient avancé un taux de 80% de prisonniers aux origines africaines. Sur la base de ce genre de chiffres, une IA chez nous prendrait-elle alors le même travers de choix arbitraire quant à un potentiel coupable ?
Shooot
L’IA n’est pas raciste , ce sont les attributs que tu y mets qui le sont.<br /> Si dans les attributs d’un individu tu y mets couleur de peau/sexe,<br /> forcément l’IA en fera un élément discriminant.<br /> Et l’idéologie qui consiste à dire « mettons y plus de développeurs femmes/noirs » ne changera rien.
carinae
Perso je ne parlerai pas de racisme mais plutôt de conséquences de biais. On donne a des IA des fonctions et des stéréotypes humains. Si il le faut la même IA confondrait un arbre avec une fleur ou un être humain avec une poupée.<br /> La question à mon sens serait effectivement de savoir ce qui induit ces erreurs car j’ai tout de même du mal à croire que ça soit volontaire. Ca pourrait être un problème d’entraînement, de classification, de vecteur, de poids ou que sais-je…
Mr_wiseman
Personne ne questionne le bien fondée de l’étude ?<br /> Tu ne pose pas une question a une IA sans l’avoir entrainé sur le sujet.<br /> Ce genre de Deep Learning fait son apprentissage sur des images qui ont un ou plusieurs labels.<br /> En dehors même de la source des images utilisés ( Prisons ? ), comment tu justifie de décider de la culpabilité au faciès ? Tu peux aussi lui fournir la forme et la taille du crane, ainsi que le QI et ont fait tous un grand pas en arrière de 200 ans ?<br /> Parfait ils viennent d’inventer le RAO ( Racisme Assisté par Ordinateur), ce n’est pas la machine, c’est leur démarche qui est biaisé.
MqcdupouletBasquez
Disons que tout est faussé.<br /> j’ai relu l’article plusieurs fois, cela pose des problèmes sur la pensée derrière ça.<br /> Comme tu dis, ça aurait pu aussi être basé sur la forme du crane ou le QI, le résultat aurait été 1 résultat.<br /> Sur Tiktok tu as des filtres vidéos où je peux associer mon visage avec celui de la plus belle femme du monde, ou le plus bel homme, y’a pas de problème, on va me montrer une animation où vraiment, la ressemblance est en effet frappante ! Personne n’a tort, j’ai demandé une transformation de visage, j’ai la transformation de visage. Je ressemble donc à Madonna, Claudia Schiffer, Macron, Booba, Joe Biden, Carla Bruni.<br /> L’autre questionnement et c’est toujours là que je définis le point névralgique du racisme ou non, c’est "en aurait on parlé si la discrimination était envers les blancs et pas les « non-blancs » " ?<br /> La plupart du temps, on en aurait pas parlé, c’est tout.<br /> Si ça se trouve, on lui a demandé à quoi ressemblait un pédophile, il a donné la tête du pape, on en sait rien et on ne le saura pas.<br /> C’est comme lorsqu’il est expliqué un comportement prédictif raciste.<br /> l’article dit:<br /> « Dans le cas de l’étude, le robot a dû choisir le criminel entre un visage blanc et un visage noir, et a opté pour ce dernier. Normalement, le robot n’aurait pas dû choisir du tout, car il aurait dû savoir que le potentiel criminel ne se lit pas sur le visage. »<br /> S’il a du choisir, il faut faire un choix. Le non-choix ne devant pas être un choix.<br /> Ce choix est basé sur des éléments que nous n’avons pas mais qui permet d’établir un profil.<br /> Le problème étant donc que le résultat ne plait pas et qu’il est donc qualifié de raciste.<br /> le terme peut quand même légitimement poser question !<br /> Mais c’est bien là où je voulais en venir, poser la question, c’est déjà être qualifié de facho d’extrême droite qui pue.<br /> ça se lit dans les commentaires, ça se lit dans un courant de pensée.<br /> Ce n’est pas simple de pouvoir raisonnablement échanger sur la question.
cyrano66
Mais quelle blague !!<br /> Ça me rappelle le délire des pistes cyclables non genree<br /> L'Obs – 9 Jun 22<br /> Pistes cyclables « non genrées » : pourquoi la pratique du vélo est...<br /> La métropole de Lyon a évoqué la création de pistes cyclables « inclusives » et « non genrées ». Une annonce qui a provoqué de vives réactions. Le consensus scientifique autour d’une pratique du vélo inégalitaire du point de vue...<br /> C’est du même acabit.<br /> Sous prétexte que quelque chose est conçu par un mâle blanc ethero forcément c’est sexiste et raciste<br /> On est quand même à un niveau de réflexion stratosphérique la.<br /> Quelle merveilleuse époque.
Mr_wiseman
Je ne critique pas le résultat de l’étude, mais l’études en elle-même.<br /> Si tu fourni a l’IA des images de fruits avec la quantité vendu et que tu lui demande le meilleur fruit, il te répondra la Tomate, la réponse est aussi stupide que la question.<br /> Pour en revenir a l’étude, au US, cing fois plus de noir américains sont arrêter (en 2021).<br /> Donc juste en montrant a la machine les « mug shots » d’une année, tu crée un biais. Les IA surtout en « apprentissage profond », sont des machines statistiques et en viendra a la conclusion qu’un caucasien a 1 chance sur 6 d’être un criminel.<br /> Ce qui me dérange, c’est que parmi tout les facteurs qui peuvent contribués a la délinquance (environnement social, niveau d’études, status financier,…) le faciès n’y a pas sa place.<br /> Vouloir prédire quelque chose avec la photo de quelqu’un, c’est comme lire dans la paume ou comme je disais comparer la taille du crane ou autre stupidités du même calibre.<br /> Pire il le font sous couverts de « science » ( comme le gène de l’homosexualité ), c’est dangereux et stupide.<br /> Que Tiktok choisisse des photo d’Alice Sapritch comme quoi me ressemblant c’est une chose, présumer de la culpabilité de qq’un juste par sa tronche, je te sortirai ca via le conseil d’éthique
Muggsy68
Et que dire de la discrimination positive ? Ptdr ça reste une discrimination au final. C’est la tolérance qui doit être appris et non l’enculage du voisin en toute occasion.
yeerum
Si tu as un lien pointant vers un article qui décrit le mécanisme / processus qui fait que des individus persistent à ne pas saisir les opportunités qui se présentent à eux en continuant à rejeter la faute sur les autres, je suis preneur.<br /> Même un bouquin ça ira. Thx
baal-fr
A peu près toute la socio sur le genre ?<br /> C’est pas comme si j’avais posté un lien plus haut qui explique que l’informatique était un domaine de femmes initialement. Et même si j’entrevois déjà le fond de ta pensée derrière ton commentaire, je vais être sympa :<br /> ritimo – 14 Sep 20<br /> Les femmes et l'informatique : histoire d'une exclusion, enjeux de la...<br /> Alors qu'en 1978, 50 % des étudiant·es en informatique étaient des femmes, à la fin des années 2010 elles oscillent entre 10 et 15 %. En 2019, au sortir de leur diplôme, seules 25 % d'entre elles…<br />
yeerum
Super.<br /> Dsl, j’avais pas vu le lien posté plus haut comme tu dis.<br /> Je ne sais pas trop ce que tu penses entrevoir, mais merci beaucoup!
tfpsly
baal-fr:<br /> C’est pas comme si j’avais posté un lien plus haut qui explique que l’informatique était un domaine de femmes initialement.<br /> Exact. Puis quand l’info « plus software » s’est développée dans les univ US, la part des femmes est partie d’un niveau très bas et a commencé à monter, comme dans la plupart des domaines scientifiques/ingénierie/haut niveau. Puis ça a plongé brutalement à partir des années 1985+, contrairement aux autres domaines « éduqués » :<br /> image786×562 30.3 KB<br />
MqcdupouletBasquez
on est d’accord, c’est ce que je veut dire.<br /> On a les résultats sur la base qu’on a demandé.<br /> Tiktok peut te faire ressembler à Alice Sapritch parce que tu lui as demandé.<br /> Est-ce que tu vas dire: « c’est une foutue machine qui ne comprend rien parce qu’elle fait n’importe quoi ! » ?<br /> bah non, parce que c’est un exemple simple.<br /> Mais eux, oui ! Ils sont sérieux, ils disent ça.<br /> Evidemment qu’il y a un biai puisque à la base, les criminels arrêtés sont des personnes à la base dans une certaine catégorie de population.<br /> On fait l’étude en Chine, ils diront que leur algorithme détecte un criminel quand il est Ouïgour.<br /> tout simplement parce que (supposition), les personnes arrêtés sont dans cette population.<br /> Le faciès par contre peut avoir sa place. La police le dit, oui certains controle d’identité se font au faciès, c’est « normal ».<br /> Je ne saurais vraiment l’expliquer correctement ni avec les bons mots, sincèrement, mais il y’a une base de juste dans le contrôle au faciès.<br /> Moi ce qui me dérange c’est qu’on donne une base claire et on se plaint du résultat obtenu.<br /> Si le résultat défini un homme noir comme criminel, c’est qu’on lui a donné une base en ce sens, ce n’est pas l’algorithme le responsable.<br /> Si dans la base de donnée, on prend en compte d’autres critères comme le niveau social, la localisation etc… le résultat peut être modifié tout autant.<br /> Obama n’est pas un dangereux criminel violeur ou pédophile.<br /> Si on met des cadres CSP+, on y trouvera pas forcément beaucoup de criminalité.<br /> Enfin c’est stupide comme histoire, l’algorithme ne peut être accusé de racisme, c’est juste l’incompétence des personnes ayant tout simplement définit des critères insuffisants à la base.<br /> Si on veut faire un point Godwin, Si on demandait à hitler en 42 de définir un algorithme des criminels, l’IA aurait fournit le résultat suivant: blanc, juif, homosexuel, opposant au régime.<br /> l’IA n’aurait pas été raciste pour autant, il aurait basé ses résultats sur les personnes arrêtées.
Voir tous les messages sur le forum

Derniers actualités

Sonos a bien prévu de lancer son Sub Mini mais il va falloir patienter avant de le voir
Surfez sur le Web en toute discrétion et à petit prix avec cette licence VPN Surfshark
L'Intel Core i9-13900K Raptor Lake domine la concurrence sur Ashes of the Singularity
La publicité arrive sur Disney+ via un nouvel abonnement (et le prix fait mal)
Le LattePanda 3 Delta disponible hors Kickstarter : un
Pour gagner en stockage en ligne, cette offre signée pCloud est idéale
La mémoire Micron GDDR6X à 24 Gbps entre en production de masse
La DDR5-6000
Stadia permet à ses joueurs de streamer un jeu en petit comité
Cet ancien employé de Twitter espionnait les utilisateurs pour le compte de l'Arabie saoudite
Haut de page