Microsoft : la détection des contenus dits toxiques au cœur d'un nouveau brevet

08 octobre 2020 à 18h00
8
microsoft

Mis au point par Xiaoran Zhang, Emilia Stoica et Clayton Holz, Toxic Content Detection with Interpretability Feature permet de repérer les messages comportant des propos déplacés.

Le United States Patent and Trademark Office (l’équivalent de l’INPI américain) a délivré un nouveau brevet à Microsoft, jeudi 1er octobre 2020. Son objet : une méthode de détection de contenu électronique toxique.

À quoi ça sert concrètement ?

Déposé en mars 2019, ce brevet « utilise un identificateur de mots-clés probablement toxiques pour déterminer de manière probable les mots-clés indicatifs d'un contenu toxique ».

Prenons un exemple pour clarifier : dans les grands groupes, les départements des relations humaines effectuent régulièrement des enquêtes auprès des travailleurs. Les réponses récoltées comportent parfois des commentaires injurieux, menaçants, racistes, homophobes, etc. La méthode développée par les trois ingénieurs facilite leur repérage.

Concrètement, il s'agit d’automatiser la recherche de contenus toxiques dans les commentaires. Comment ? En identifiant un potentiel de toxicité. L’une des possibilités pour la mettre en place est de nourrir et d’entrainer un algorithme de deep learning.

Apprendre par la probabilité

Pour cela, un humain-entraîneur donne deux ensemble de messages à l’algorithme : un, comportant des messages toxiques, l’autre sans. L’algorithme va alors déterminer la récurrence de mots-clés probablement toxiques dans chaque ensemble. Si le mot-clé dans l’ensemble toxique apparaît un nombre de fois (à déterminer) supérieur à son apparition dans l’ensemble non-toxique, le mot-clé est considéré comme indiquant du contenu toxique.

Une fois une liste de mots-clés obtenue, l’algorithme sera en état d’identifier de manière probable les messages toxiques dans un ensemble de messages aléatoire : il lui suffit d’identifier le nombre de mots-clés dans chaque message.

MS patent © TOXIC CONTENT DETECTION WITH INTERPRETABILITY FEATURE

L'avenir du brevet n'est pas fixé : Microsoft peut décider d'en faire un produit, mais la plus forte hypothèse est que la méthode soit intégrée à Teams. Messages (privés ?) et retranscriptions vidéos pourraient ainsi être soumis à une analyse de toxicité…

Source : NeoWin

Soyez toujours courtois dans vos commentaires.
Respectez le réglement de la communauté.
8
9
soaf78
Donc on va s’en remettre à une IA qui n’aura ni humour, ni second degré, ni ironie pour savoir ce qu’on peut dire…
johnguy_park
ça c’était avant. Beaucoup de progrès ont été faits depuis, notamment sur l’humour, l’humeur, le ton etc.
Blues_Blanche
C’est Bilbrother ? ^^
bmustang
les gens moins arrogants et avec beaucoup moins de prétentions savaient rire et plaisanter, mais ça c’était avant que les gens deviennent ce qu’ils sont !?
Lord_Crazy
Exactement. Maintenant on peut enfin se concentrer sur les blagues bien plates et sans saveur, mais au moins elles sont correctes. Les blagues de Toto y a que ça de vrai.
docneo
Aseptisation et bien pensant Microsoft …
MisterG55
Ou comment annihiler la liberté d’expression et imposer un modèle unique de pensée. … entendez vous les bottes qui claquent dans les rues?<br /> L’ IA va bientôt contrôler entièrement notre cadre de vie, bienvenus dans la matrice.
quezako
Les commentaires bien prévisibles…<br /> D’abord, l’algorithme est une aide à la détection, ça reste le rôle d’un humain de modérer, donc à l’appréciation de la compagnie qui l’embauche, pas à l’appréciation de l’algorithme.<br /> Ensuite, arrêtez de confondre liberté d’expression et droit de dire n’importe quoi.<br /> La liberté d’expression a toujours été encadrée légalement et les contenus toxiques font partie de ce que la loi puni (heureusement). Par exemple, le harcèlement, le chantage, l’incitation à la haine, la désinformation et j’en passe.<br /> Vous pourrez toujours raconter vos blagues de beauf et dire du prochain président qu’il mène (lui aussi) la France dans le mur et que le monde est pourri.<br /> Et oui, le mauvais goût et le pessimisme ne sont pas des contenus toxiques, juste des contenus inintéressants.
Voir tous les messages sur le forum

Actualités du moment

L'antivirus Norton 360 Deluxe à moitié prix en ce moment !
Le forfait sans engagement Sosh 80 Go encore disponible à 14,99€/mois
Star Wars Squadrons : EA ne prévoit pas de contenu inédit après le lancement
La Model Y produite à la Gigafactory de Berlin bénéficiera de la nouvelle batterie structurelle de Tesla
Réalité virtuelle : le dispositif de déplacement immersif Omni One va débarquer dans les foyers
L'antivirus Norton 360 Deluxe à moitié prix en ce moment !
La barre de son Denon DHT-S316 avec caisson de basses à un prix jamais vu chez Fnac
iPhone : l'encoche ne disparaîtrait pas avant 2022
Le serveur de stockage (NAS) Synology 4 baies à prix cassé avec ce code promo
Un pack Corsair Gaming dément (casque + clavier + souris et tapis) à moins de 100€
Haut de page