Des experts en IA condamnent fermement un logiciel censé prévenir les crimes

24 juin 2020 à 12h34
43
Reconnaissance faciale

Ils sont plus de 1 000 chercheurs, experts et académiciens à s’inquiéter de la publication d’une étude sur un système de reconnaissance faciale capable de prédire si une personne va commettre un crime. Ils lui reprochent notamment des biais racistes à cause de méthodes d’apprentissage douteuses. 

La recherche est censée figurer dans une prochaine série de livres de la société d’édition Springer, éditeur de la revue scientifique Nature

Un outil censé prédire un crime grâce à une simple photo d’un visage

Dans un communiqué de presse, les auteurs affirment avoir développé un logiciel de reconnaissance faciale capable de « prédire si quelqu’un est un criminel en se basant uniquement sur une photo de son visage », et capable d'assister et d'aider les forces de l'ordre dans leur travail. Toujours selon le communiqué, le système a « une précision de 80 % sans aucun préjugé racial » et n’est pas « affecté par des préjugés implicites et des réactions émotionnelles ». 

Or, les signataires d’une lettre parue sur Medium, dont certains travaillent chez Google, Facebook ou encore Microsoft, dénoncent la parution prochaine de l’étude et appellent toutes les maisons d’édition à ne pas la publier. D’après eux, certaines intelligences artificielles, notamment celles basées sur le machine learning (comme c’est le cas ici), ne sont pas impartiales : 

« Les recherches de cette nature - et les prétentions à l'exactitude qui les accompagnent - reposent sur l'hypothèse que les données relatives aux arrestations et aux condamnations pénales peuvent servir d'indicateurs fiables et neutres de l'activité criminelle sous-jacente. Pourtant, ces données sont loin d'être neutres. Comme l'ont démontré de nombreux chercheurs, les données historiques relatives aux tribunaux et aux arrestations reflètent les politiques et les pratiques du système de justice pénale. Ces données reflètent qui la police choisit d'arrêter, comment les juges appliquent les peines et quelles personnes se voient accorder des peines plus longues ou plus clémentes ». 

Or, il est désormais avéré, notamment aux États-Unis, que les personnes de couleur sont traitées beaucoup plus durement que les autres par le système judiciaire. Un tel outil viendrait alors fragiliser davantage des communautés déjà mises à mal, en les ciblant plus encore. 

La reconnaissance faciale hérite des croyances culturelles

Vivement critiqués et controversés depuis des années, les systèmes de reconnaissance faciale ont fait preuve à plusieurs reprises de biais racistes. Dans leur lettre, les experts déclarent que « les programmes de recherche et les ensembles de données exploités par ces outils héritent souvent des croyances culturelles dominantes dans le monde ». 

D’ailleurs, IBM a récemment décidé d’abandonner le marché de la reconnaissance faciale pour raisons éthiques. L’entreprise, qui avait pourtant tenté de combattre les travers de cette technologie, a finalement baissé les bras. 

Source : TechCrunch

Mathilde Rochefort

Après mes études de journalisme, j’ai décidé de m’orienter vers les domaines qui me passionnent : nouvelles technologies, jeu vidéo, ou encore astronomie. J’adore partager autour de ces sujets mais ma...

Lire d'autres articles

Après mes études de journalisme, j’ai décidé de m’orienter vers les domaines qui me passionnent : nouvelles technologies, jeu vidéo, ou encore astronomie. J’adore partager autour de ces sujets mais ma curiosité m’entraîne à évoquer de nombreux autres sujets au travers de mes articles.

Lire d'autres articles
Vous êtes un utilisateur de Google Actualités ou de WhatsApp ? Suivez-nous pour ne rien rater de l'actu tech !
google-news

A découvrir en vidéo

Rejoignez la communauté Clubic S'inscrire

Rejoignez la communauté des passionnés de nouvelles technologies. Venez partager votre passion et débattre de l’actualité avec nos membres qui s’entraident et partagent leur expertise quotidiennement.

S'inscrire

Commentaires (43)

GRITI
Comment est-il possible de croire honnêtement qu’une simple photo d’un visage peut permettre de prédire s’il y aura crime ou pas??!!!
mrassol
si je te parle d’AI et d’algorythme ? ca suffit a faire financer un projet bidon
vbond007
Ah ben tiens, ça rejoint mon commentaire sur «&nbsp;Forecast&nbsp;» de facebook :<br /> Clubic.com – 24 Jun 20<br /> Avec Forecast, Facebook entend prédire l'avenir<br /> Des experts sont invités à répondre à des questions concernant le futur. Celles-ci seront dans un premier temps focalisées sur le Coronavirus.<br /> La connerie IA est dans l’air du temps il faut croire.
cirdan
Raciste ou pas, le principe est effrayant. Ce sont nos gouvernements férus de démocratie qui devraient réagir et interdire purement et simplement ce genre de recherche.
Batc
La prédiction basée sur une photo c’est clairement du bullshit au-delà de la méthode d’apprentissage plus que douteuse. Comment peut-on y croire ?
carinae
ben visiblement ceux qui l’ont imaginé … C’est quand même étonnant comme mode de fonctionnement. J’imagine qu’ils ont fait ingurgité a un algorithme des tonnes de photos de criminels pour en tirer des caractéristiques communes …???
GRITI
Après mûre réflexion, je valide et encourage ce genre de logiciels.<br /> Que l’on fasse la même version pour toutes personnes voulant se lancer en politique. On saura ainsi si elle elle va mentir, détourner, frauder, favoriser ses amis etc…<br /> Et la même chose pour toutes les entreprises d’énergies fossiles ou nucléaires et tout ce qui touche l’alimentation et la médecine (labo).
Batc
Permets-moi d’être perplexe. Déjà qu’une AI c’est un bien grand mot alors une IA prédictive basée sur des photos de criminels, je n’y crois absolument pas. Mais je peux me tromper. Et donc j’imagine que des investisseurs y ont cru.<br /> Cela étant dit, je prends un exemple concret : certains violeurs/et/ou meurtriers ont des caractéristiques physiques bien précises, j’ai bien dit «&nbsp;certains&nbsp;», donc pas tous et surtout ces caractéristiques ne se voient pas en regardant leur visage… donc comme quoi y’a matière à débattre
GRITI
Batc:<br /> certains violeurs/et/ou meurtriers ont des caractéristiques physiques bien précises, j’ai bien dit « certains »<br /> Que donne l’inverse? Est-ce que des gens non violeurs/meurtriers ont ces caractéristiques?
Allder
Mauvaise idée interdire des recherche donne l’aventage aux dictature (CRISPR/cas9 en chine ou super cannon de saddamm) en revanche il faut définitivement encadré leurs utilisations.
Batc
Exactement d’où mon questionnement et mon insistance sur le «&nbsp;certains&nbsp;». D’ailleurs la caractéristique à laquelle je pense (cryptorchidie) ne prédit aucunement que tu seras en l’occurrence un violeur et/ou meurtrier et heureusement.
PirBip
Batc:<br /> la caractéristique à laquelle je pense (cryptorchidie) ne prédit aucunement que tu seras en l’occurrence un violeur et/ou meurtrier et heureusement.<br /> Je recoupe avec cette citation précédente :<br /> Batc:<br /> certains violeurs/et/ou meurtriers ont des caractéristiques physiques bien précises, j’ai bien dit « certains »,<br /> Est-ce qu’une source existe pour montrer ne serait-ce qu’une corrélation dans ce domaine? Le peu de recherches sur la cryptorchidie que j’arrive à faire ne me permet que d’avoir des articles en relation avec les pesticides … bien loin des risques d’assassinat.<br /> Je suis juste curieuse.
GRITI
Pour la cryptorchidie, je suis tombé sur les testicules non sortis (entre autre). Pas de pesticide pour moi.
KaspOu
La majorité des violeurs étaient des hommes, arrêtons tous les hommes
cirdan
Ton exemple est cohérent, cette recherche est bien digne d’une dictature. Par contre, elle ne donne aucun avantage sur le plan international. Les dictatures continueront de dicter sur leur territoire et les démocraties d’essayer de faire les bons choix de société (même si tout n’est pas parfait…). Il est des voies sur lesquelles il est très difficile de s’engager car c’est aussi le principe qui pose un problème. Il me semble que c’est là un bon exemple.
Batc
Il est, je crois mais pas sûr…de teneur quasiment public que certains criminels ont cette caractéristique physique comme Francis Heaulme ou dans un autre registre le prénommé Hitler. J’ai cru lire un ou deux articles là dessus il y a longtemps ou des experts psychologues auprès des tribunaux parlaient de cette caractéristique. De là à vous retrouver cesdits articles…
Batc
Je ne crois pas que ce soit la solution @KaspOu
y88cdw
Plusieurs photos du même individu donnent-ils le même résultat? Pas tout le monde qui ressent l’envie de faire un crime passe à l’action. Je préférerais qu’ils préviennent le suicide.
PirBip
Suite à cette réponse, je n’évoquerai plus ce hors-sujet :<br /> Ma recherche ne m’a mené qu’à un seul PDF. C’est évoqué de manière très évasive, en évocation sporadique et sans recoupage possible, puisqu’ils ne citent pas leurs sources (!), ça ressemble plus à une aubaine statistique qu’autre chose. Prudence donc.<br /> Cependant, rien sur une corrélation entre cryptorchidie et crimes/viols, ou ne serait-ce d’évocation d’une prédisposition à l’acte quand on possède cette caractéristique.
bipolaire
Black Lives Matter… je ne veux pas rentrer dans le cliché mais je ne trouve pas la source de la photo, d’autant plus associé au titre, je trouve cela un peu limite!<br /> Sachant qu’aucun de vos liens ne montre une photo de personne réelle, même d’un caucasien, associé a ce thème!<br /> Et le lien vers techcrunch ne marche pas…
GRITI
Personnellement, je ne trouve pas spécialement que la photo soit mal choisie. Car elle permet d’illustrer le problème que ce genre de logiciel risque de créer si on tient compte des biais de ceux qui vont «&nbsp;apprendre&nbsp;» au logiciel. Si pour ces personnes, la majorité des criminels en puissance sont de type peau mate/noire, on voit très vite où cela va mener.<br /> https://usertribe.com/products/:<br /> image1551×552 204 KB<br /> https://tineye.com/search/74071bb614177c503af375371eaad9da4588da87?page=1<br /> https://www.shutterstock.com/fr/search/3d+facial+scan:<br /> image1613×779 563 KB
GRITI
WhyPok:<br /> Apparemment certains n’ont pas tout à fait compris.<br /> Analyse d’une image pour prédire une action répréhensible, donc tout ce qui est à basé de vidéo surveillance est inclu, et forcément ce n’est pas basé sur une seule image.<br /> Dans un communiqué de presse, les auteurs affirment avoir développé un logiciel de reconnaissance faciale capable de « prédire si quelqu’un est un criminel en se basant uniquement sur une photo de son visage »<br /> Et dans le communiqué de presse:<br /> With 80 percent accuracy and with no racial bias, the software can predict if someone is a criminal based solely on a picture of their face. The software is intended to help law enforcement prevent crime.
neuze-mayo
Indépendamment des biais évoqués, comment donner quelque crédit scientifique aux escrocs qui font croire en cette fable ?<br /> Le buzz de l’AI, alimenté par la croyance positiviste d’un public qui ne comprend pas le sujet, est devenu dangereux et nauséabond.<br /> Ceux qui connaissent réellement la question ne sont malheureusement jamais entendu, étouffés par les mirages de la statistique et des probabilités, qui sont à des années-lumière des sciences de la complexité.<br /> Des cours de psychologie cognitive devraient être obligatoires pour tout informaticien qui prétend parler d’IA…
Blackalf
prédire si quelqu’un est un criminel en se basant uniquement sur une photo de son visage<br /> L’idée de base est parfaitement inquiétante, parce qu’elle n’est pas si éloignée de ce que les nazis faisaient : des mesures anthropométriques effectuées sur diverses races pour justifier leur «&nbsp;infériorité&nbsp;» génétique<br /> En partie basé sur la méthode inventée par Alphonse Bertillon, bien évidemment détournée de son but premier (qui était l’identification judiciaire) pour servir la doctrine nazie…voilà à quoi me fait penser ce logiciel
GRITI
La seule vraie prédiction possible au niveau des crimes (hors cas relevant de la psychiatrie) serait de surveiller en permanence tout le monde à tous les niveaux:<br /> historique des sites consultés en ligne<br /> historique des jeux pratiqués en ligne<br /> historique des déplacements<br /> historique des achats effectués (il faut que tous les paiements soient traçables)<br /> connaissance de la situation personnelle et professionnelle de chacun: vie sentimentale, familiale ,amicale, sport, alimentation, type de travail, relations au travail, environnement quotidien<br /> connaissance des antécédents médicaux de la personne<br /> analyse de toutes les communications numériques de la personne (voix, SMS, réseaux sociaux)<br /> conditions ambiantes: météo (fortes chaleurs qui font péter un câble par exemple), contexte sociale (mouvements nationaux de contestation, grèves, chômage, pénurie alimentaire)<br /> Avec tout cela, on croise les données et on obtient un résultat plutôt pas mal je pense.<br /> Mais sans moi un tel monde !
GRITI
WhyPok:<br /> Oui d’accord mais alors que fait on ?<br /> On fait en sorte que les gens n’aient pas besoin de commettre de crimes: éducation, de quoi manger, se loger, se faire soigner et supprimer le plus possible les causes de maladies, être à l’abri des agressions externes (nature ou humains).<br /> Autant dire utopique au vu de la nature humaine à ce stade de son évolution. De mon point de vue.
mcbenny
Ca rappelle quand même beaucoup la phrénologie du 19ème siècle, emballée dans une grosse couche de silicium et d’IA.<br /> Il faut accepter que l’humain est faillible, qu’il peut changer aussi, dans un sens comme dans l’autre.<br /> Une personne commettant un crime ne va pas forcément récidiver non plus. Même s’il y a des délinquants/criminels récidivistes, on a le droit de se ranger, on a le droit de devenir honnête, ou délinquant (Cela dépend en partie de l’age auquel on entre en politique
icejedi
bipolaire:<br /> Black Lives Matter… je ne veux pas rentrer dans le cliché mais je ne trouve pas la source de la photo, d’autant plus associé au titre, je trouve cela un peu limite!<br /> Justement, c’est une bonne illustration du problème : quoi que disent les développeurs, les IA sont souvent racistes envers les gens d’origine africaine.<br /> Une IA de gestion de CV par exemple refusait systématiquement tout les noirs, pourquoi ? Tout simplement à cause des pourcentages de crimes : la plupart viennent des quartiers défavorisés, rarement habités par des blancs, et l’IA est trop stupide pour réfléchir au delà des statistiques…
bipolaire
icejedi:<br /> Justement, c’est une bonne illustration du problème : quoi que disent les développeurs, les IA sont souvent racistes envers les gens d’origine africaine.<br /> … asiatique, hispanique, féminine, obèse, LGBT, etc.<br /> Le journaliste a sciemment cherché une photo d’une personne noire inconnue pour illustrer son propos en faisant l’association noir=criminel… si c’est ce genre d’approche qui est utilisé pour entraîner les IA, en effet…<br /> Bref, une photo faisant référence à une œuvre montrant les dérives de cette technologie aurait été plus en adéquation avec un vrai travail journalistique!
Krimog
À ce rythme, pourquoi ne pas faire un algorithme pour déterminer si on est un criminel en fonction de la longueur du quatrième orteil gauche ?
GRITI
Car il suffirait de se le couper en prétextant un accident de jardinage
yeerum
Ce vrai qu’un biais s’installe très vite. Quand on parle de criminalité on pense toute suite à délinquance qu’ils qualifient d’urbaine, pas aux criminels en col blanc qui coûtent bien plus cher; la photo utilisée pour l’article l’illustre déjà très bien.<br /> Je serais curieux de savoir comment réagirait cette IA devant une photo de Bernard Madoff?
yeerum
Et une fenêtre d’Overton en plus… Ça paraît aberrant pour l’opinion public aujourd’hui, demain ça fera débat, et après, seront adoptées, les lois…
yeerum
Méthodologie d’apprentissage qui n’est connue de personnes, qui plus est. S’ils se basent en complément,sur le ressenti des policiers c’est plutôt mal barré:<br /> https://globalnews.ca/video/7104620/georgia-police-video-captures-violent-arrest-takedown-of-innocent-black-man<br /> Arrivé il y a une semaine. Les policiers se rendent comptes qu’ils ont «&nbsp;&nbsp;»«&nbsp;interpellé&nbsp;»"" la mauvais personne qui expliquait calmement se qu’il faisait ( et au passage brisé les côtes). Pas sûr que l’IA soit d’une grande aide…<br /> On attend toujours le vaccin contre Covid made by IA ^^’
Blackalf
icejedi:<br /> et l’IA est trop stupide pour réfléchir au delà des statistiques…<br /> Elle ne réfléchit pas, justement, elle se réfère à sa base de données fondée sur l’apprentissage qu’on lui a fait suivre <br /> C’est pour ça que je ne crois pas que les IA sont/seront infaillibles, le facteur limitant sera toujours le facteur humain : les gens qui lui font suivre cet apprentissage et qui ne seront jamais totalement objectifs, répercutant peut-être même leurs préjugés et leurs à-priori sans s’en rendre compte
cgmonkey
Ca peut marché mais pas avec des photos, il faudrait prendre l’activité neuronale des violeurs, tueurs etc… Quoique… je sais pas …
philouze
«&nbsp;Sachant qu’aucun de vos liens ne montre une photo de personne réelle, même d’un caucasien,&nbsp;»<br /> Si on pouvait éviter la classification raciale US pour éviter de dire «&nbsp;blanc&nbsp;» ou «&nbsp;occidental&nbsp;» , particulièrement idiote au passage (recherchez qui sont les caucasiens… merci pour eux)
Voir tous les messages sur le forum
Haut de page

Sur le même sujet