L'IA de Google Photo accuse un utilisateur de pédocriminalité par erreur (et le dénonce à la police)

22 août 2022 à 16h28
26
Google illustration 1

Une erreur d'interprétation commise par un outil d'intelligence artificielle créé par Google a conduit à l'ouverture d'une enquête pour pédocriminalité.

Un outil de Google dédié à l'automatisation de l'interception d'images à caractère pédocriminel circulant sur le web a semé la zizanie, déclenchant à nouveau la polémique autour du géant et de ses pratiques jugées intrusives en matière de traitement des données personnelles.

L'IA confond domaine médical et pédocriminalité

L'incident s'est produit Outre-Atlantique en février 2021, durant les restrictions liées au Covid-19. Il a été demandé à Mark, un père de famille ayant remarqué un gonflement dans la région génitale de son enfant, de transmettre des photos du problème au cabinet médical avant la tenue de la consultation avec un médecin par visioconférence. Deux jours après celle-ci, Mark reçoit une notification de la part de Google. Celle-ci stipule que ses comptes liés aux services du géant ont été suspendus en raison d'un « contenu préjudiciable » représentant « une violation grave des politiques de Google et qui pourrait être illégal ».

Lancé en 2018, l'outil de Google a pour objectif d'intercepter les photographies ayant un caractère pédopornographique. Baptisé Content Safety, le toolkit mise tout sur le fait de minimiser l'intervention humaine dans le cadre de cette détection. Pour identifier ce type de contenus, comme de nombreuses sociétés, Google utilise la technologie Microsoft PhotoDNA.

Dans la foulée, Mark a perdu l'accès à ses e-mails, ses contacts, ses photos et même son numéro de téléphone puisqu'il utilisait Google Fi, le service d'opérateur mobile virtuel disponible aux États-Unis. Si Mark a pourtant immédiatement essayé de faire appel de la décision de Google, le mastodonte du web a rejeté toute tentative et une enquête a été ouverte en Décembre 2021 par les services de Police de San Francisco, ville de résidence du parent.

Des pratiques préventives jugées intrusives

Bien que la protection des enfants contre les abus soit primordiale, la question de l'empiétement sur la vie privée se pose auprès de tous les utilisateurs n'ayant rien à se reprocher. Jon Callas, directeur des projets technologiques à l'Electronic Frontier Foundation a par ailleurs réagi auprès du New York Times en qualifiant d'intrusives ces pratiques menées par Google : « C'est précisément le cauchemar qui nous préoccupe tous ».

À ce sujet, Google déclare ne scanner les images de ses utilisateurs que lorsqu'ils utilisent certains services. Dans ce cas de figure, il peut s'agir de la sauvegarde sur Google Photos. Il est d'ailleurs intéressant de rappeler que Google est légalement tenu de signaler toute image de ce type aux autorités. En 2021, pas moins de 621 583 cas ont été rapportés.

Source : The Verge

Soyez toujours courtois dans vos commentaires.
Respectez le réglement de la communauté.
26
26
Procyon92
Le gars a été innocenté par la police qui n’a pu le lui dire car il n’avait plus de mail ni de numéro de téléphone valide/connu. Et lorsqu’il a recontacté Google ils n’ont pas voulu rouvrir ses comptes. 2eme effet kiss cool pour le gars pour gérer les problèmes de double authentification avec les services qui utilisaient son mail ou son numéro de portable…
dFxed
Donc la détection c’est bien, la coupure des services avant décision de justice, ça l’est moins.
Gh0st_D0g
Raison de plus pour ne pas placer tous ces oeufs dans le même panier
MisterDams
Cette absence d’interlocuteur chez les GAFAM est affligeante… On peut au mieux cliquer sur un bouton qui fait une requête, mais personne ne traite « humainement » les demandes et ça rend toute communication impossible. Nombreux sont les cas de coupures injustifiées avec des victimes qui ne peuvent absolument pas plaider leurs causes.<br /> Quand c’est juste un compte Twitter, c’est pas un drame (encore que, pour certains c’est une activité rémunérée), mais quand c’est un compte Google, les conséquences sont quand même hyper lourdes. L’adresse email est devenue une partie de l’identité, elle est fournie aux administrations, elle sert à valider des contrats…<br /> Pire encore, bloquer le compte immédiatement n’est pas stratégique dans ce cas-là, ce n’est pas ce que ferait la police. Mieux vaut maintenir le compte actif et lever les alertes « en sous-marin » pour aider les autorités à intervenir ou remonter une filière.<br /> Une fois qu’elle sait qu’elle est repérée, la personne réellement coupable a le temps de réagir avant intervention (se débarrasser des supports de stockage, détruire des preuves physiques, voire tout ce qu’on peut imaginer d’ignoble dans ce cas là), ce qui est contre productif.
soaf78
les gafam qui se substituent à la justice…
Baxter_X
Pour moi c’est ça le plus choquant!
Philmarc94
Et comment on fait ? On achète Apple. Il n’y a pas 10 000 solutions pour un néophyte !
cid1
Google un espion, et une balance qui juge à la va vite en fermant ses comptes au pauvre type qui n’a rien fait à part recevoir une photo de sa nièce de…disons 14 ans…quelle I.A. mal barrée.
HAL1
Si l’idée est de « ne pas placer tous ses oeufs dans le même panier », acheter du matériel Apple n’est très certainement pas la solution…
Pernel
C’est beau l’IA. C’est bien de lutter contre la pédophilie (pas besoin de le préciser, enfin j’espère), mais qu’une IA qui plus est, pas au point, qui vérifie et surtout contact la police sans que ce soit vérifié par un humain (moins susceptible de se tromper sur ce genre de choses) c’est d’une d*bilité …
Nymoi
Ah, ben, je viens juste de mettre en Spam et le signaler mon dernier e-mail, reçu de l’Espagne (en apparence) et contenant un fichier joint PDF qui est une lettre d’Interpol… j’en essuie encore mes larmes de rire !!!<br /> Ce soir, je m’attends à voir débarquer le GIGN… je ferai des photos, je vous montrerai !
juju251
Alors …<br /> Je vais être cynique, mais répétez après moi « Je m’en fout de mes données personnelles, je n’ai rien à cacher » …<br /> Les personnes qui nous sortent sans honte cette tirade à longueur de sujets sur l’importance des données personnelles, vous commencez à voir le danger ou pas encore ?<br /> Au cas où, je pose ça là :<br /> Clubic.com – 21 Feb 20<br /> Données personnelles : les ressources pour s'informer, les outils pour...<br /> Dans l'un des épisodes du podcast « IRL » qu'elle anime pour Firefox, Manoush Zomorodi partage une anecdote glaçante. « L'une des auditrices, inquiète à propos de sa consommation d'alcool, s'est renseignée sur Google, raconte l'animatrice....<br />
juju251
Nymoi:<br /> Ah, ben, je viens juste de mettre en Spam et le signaler mon dernier e-mail, reçu de l’Espagne (en apparence) et contenant un fichier joint PDF qui est une lettre d’Interpol… j’en essuie encore mes larmes de rire !!!<br /> Ce soir, je m’attends à voir débarquer le GIGN… je ferai des photos, je vous montrerai !<br /> Oui, mais ça, ça n’a RIEN à voir.<br /> C’est une tentative d’escroquerie (qui fonctionne malheureusement sur certaines personnes).
Bombing_Basta
Merci pour l’article, très intéressant, que je n’avais pas vu quand il est sortis.
bmustang
par ici le gros chèque
CM35
Selon Klaus Schwab, « Si on n’a rien à cacher, il ne faut pas avoir peur » <br />
_Troll
Il y a quelques temps de cela les gens mettaient un morceau de ruban adhesif ou un coup de tampon a l’arriere de leur enveloppe pour se proteger que personne ne l’ouvre et personne n’avait legalement le droit de l’ouvrir. De nos jours les particuliers et les entreprises utilisent tous ces services cloud, email, stockage, etc. en sachant tres bien que le contenu va etre lu et utiliser, pour la publicite cicblee, pour une soit disante protection, acheter ou hacke par un entreprise concurrente, pour entrainer des AI, ou lu par des employes.
Bruno02
C’est pareil chez Apple. Ce n’est pas la première fois que ça arrive ce genre de chose.
Jsp75
On arrive de plus en plus à faire mieux que les pires films d’anticipation…
Garden_Dwarf
La couille n’était pas que sur la photo, elle était aussi dans l’IA ^^
_anael
Les gouvernement cherchent à sous-traiter une partie de la justice avec l’intelligence artificielle. Malheureusement, cette dernière ne peut pas (encore) trouver le contexte derrière une photo, et les métadonnées, c’est manipulable. Puis une grande majorité de gens utilise l’espace Cloud qui est forcément scanné pour des raisons publicitaires ou légales. Il faudra que les opérateurs Cloud sensibilisent les utilisateurs à ne pas stocker toute forme de nudité dans leur espace de stockage.<br /> Pour les faux positifs, les lois peuvent changer. Des législateurs peuvent décréter que toute forme de nudité c’est de la pornographie, par facilité, et que si cela touche des personnes visiblement mineures (âge déterminé par l’IA)-&gt; les autorités interviennent. Et personne ne se révoltera contre les GAFAM, qui affectent le droit d’existence sur les espaces online et offline.
Popoulo
Le plus grave est que si le gars avait été un pédophile, étant donné qu’il a été directement averti en février et l’enquête de police ouverte en décembre, 'il aurait eu le temps de faire le ménage autour de lui, contenus divers et avariés, voire pire. Sans oublier les éventuels réseaux que la police aurait pu faire tomber avec une enquête discrète.<br /> « rappeler que Google est légalement tenu de signaler toute image de ce type aux autorités »<br /> Normal, mais Google n’a pas à se prendre pour la police/juge/jurés.
jvachez
L’IA de Google Photos est très buguée. Par exemple ça créé régulièrement des sélections de photos. Ca m’a créé une sélection appelée « l’amour est dans le pré » et ça m’a mis Auschwitz dedans car ça a vu de l’herbe ça a ignoré les barraquements.
nelectron
@ Nimoy : Tout le monde en reçoit, de ces mails alarmistes soi disant policiers, même ma tante de 96 ans en a eu et elle a répondu vertement…
Blackalf
C’est pile ce qu’il ne faut pas faire, répondre à ce genre de mails.
vincentd75
Je te cite:<br /> « Quand c’est juste un compte Twitter, c’est pas un drame (encore que, pour certains c’est une activité rémunérée), mais quand c’est un compte Google, les conséquences sont quand même hyper lourdes. L’adresse email est devenue une partie de l’identité, elle est fournie aux administrations, elle sert à valider des contrats… »<br /> Excuse-moi mais faut être sacrément konkon pour faire des contrats, payer ses impôts, acheter une maison ou plein d’autres choses avec une adresse gmail.<br /> Tu fais cela UNIQUEMENT avec l’adresse de ton FAI !!!<br /> Ou tu te prends un nom de domaine et l’adresse courriel qui va avec.<br /> Je vais écrire et publier des choses de ma vie pro avec google? Ce dernier qui peut à tout instant bloquer mon email et si c’est le cas, quel interlocuteur aurais-je en face de moi? AUCUN !!!<br /> Son adresse email FAI, orange, free, etc… Mais pas d’email gratuite yahoo ou google ou je ne sais quoi d’autre.<br /> Encore une preuve ici qu’un compte peut être fermé comme cela, sur le champ. Et encore une preuve ici que VOTRE courrier personnel, vos échanges privés sont scannés.<br /> Vos photos sont scannées. Vos propos par email sont scannés, lus, analysés. Accepteriez-vous que des gens à la Poste ouvrent votre courrier postal, lisent votre lettre, referment le tout?<br /> Ecrire via des adresses email gratuites c’est ça qui se passe.<br /> J’ai plusieurs emails google mais pour du fun, pas pour acheter ceci ou parler de mon emploi ou avec mon notaire ou avocat. Vous imaginez vous écrivez avec votre avocat sur google mail?<br /> Ces machins là ouvrent, analysent et lisent votre courrier.
MisterDams
vincentd75:<br /> Excuse-moi mais faut être sacrément konkon pour faire des contrats, payer ses impôts, acheter une maison ou plein d’autres choses avec une adresse gmail.<br /> Tu fais cela UNIQUEMENT avec l’adresse de ton FAI !!!<br /> Ou tu te prends un nom de domaine et l’adresse courriel qui va avec.<br /> Absolument pas. Déjà historiquement les FAI dégagent tes adresses emails quand tu résilies : t’es donc complètement dépendant. Y’à qu’à voir le nombre de pros qui sont restés bloqués chez Orange pour garder leurs adresses Wanadoo.<br /> Puis la qualité de service est absolument pas la même, franchement les messageries des FAI c’est une honte, en stockage, qualité du webmail, etc. Il y a effectivement la solution du domaine, mais c’est pas donné à tout le monde et on est pas à l’abri de surprise non plus (pas de 2FA sur les messageries basiques d’OVH par exemple).<br /> De plus, la plupart des services n’envoient RIEN de sensible par email. Ils envoient juste des informations pour dire que « quelque chose est disponible sur le compte ». C’est le cas des impôts, d’Améli, de la CAF, des établissements bancaires, de mon syndic de copropriété…<br /> Je configure actuellement une messagerie proposée par un service Suisse, mais la solution est pas exceptionnelle de fluidité non plus par rapport à Gmail et rien ne me garantie qu’ils vont pas eux aussi un jour s’amuser à aller regarder ce que je dis dedans. Je le fais juste pour cloisonner 2 niveaux d’informations en cas d’attaque (ou d’événement de ce genre…) plus que par peur de Google en mode « big brother ».<br /> La seule solution à peu près fiable sur la confidentialité, ça serait d’auto-héberger son adresse, mais là le coût humain et financier pour le déployer/gérer/protéger/sauvegarder est franchement rédhibitoire.
HAL1
MisterDams:<br /> Absolument pas. Déjà historiquement les FAI dégagent tes adresses emails quand tu résilies : t’es donc complètement dépendant.<br /> Tout à fait d’accord.<br /> vincentd75:<br /> Ces machins là ouvrent, analysent et lisent votre courrier.<br /> Aucun être humain ne lit les courriels envoyés à une adresse Gmail. Par le passé il y avait en effet une analyse faite par ordinateur pour faire du profilage publicitaire, mais même cela n’est plus vrai aujourd’hui.<br /> https://www.developpez.com/actu/145851/Google-annonce-l-arret-du-scan-des-emails-de-l-offre-gratuite-de-Gmail-a-des-fins-publicitaires-et-s-aligne-ainsi-avec-l-offre-G-suite/
cyrano66
juju251:<br /> Je vais être cynique, mais répétez après moi « Je m’en fout de mes données personnelles, je n’ai rien à cacher » …<br /> Et son grand frère « je m’en fou de la surveillance de masse puisque j’ai rien à me reprocher… »<br /> juju251:<br /> vous commencez à voir le danger ou pas encore ?<br /> Je crains que ça ne soit peine perdu.<br /> Saint Thomas ne croit que ce qui lui tombe sur sa pauvre gueule.
Voir tous les messages sur le forum

Derniers actualités

Encore plus de pub sur Instagram, surtout là où vous n'en vouliez pas
Piratage : Google a reçu plus de 6 milliards de demandes de retrait
Une TV OLED à ce prix là, c'est une offre à ne pas louper en vue du mondial !
Stadia : des fans cherchent des solutions pour sauver les manettes, et Google ?
La modération de Facebook face à un dilemme en Iran
Le mois de la cybersécurité se place sous les meilleurs auspices avec Bitdefender Total Security
Clubic recherche un(e) responsable guides d'achat
Ce superbe casque Sony à réduction de bruit est à prix cassé ici !
Achetez le smartphone Motorola Edge 30 Neo et recevez 50 € + un assistant vocal
Nest Doorbell : la nouvelle sonnette connectée de Google est pleine de bonnes idées
Haut de page