Facebook annonce les résultats de son Deepfake Detection Challenge

Les entreprises de la tech sont nombreuses à s'intéresser aux problèmes soulevés par les deepfakes, ces vidéos modifiées dans le but de remplacer une personne par une autre ou d'altérer ses déclarations.

Si ces vidéos modifiées n'ont pas encore été utilisées lors de campagnes de désinformation, leur nombre a grandement augmenté. Et Facebook , qui préfère anticiper, vient d'annoncer les résultats de son Deepfake Detection Challenge (DFDC) lancé en décembre.

Des difficultés face au monde réel

Le concours repose sur la plus grande base de données de ce genre jamais créée. Réalisée par Facebook, elle s'appuie sur 100 000 vidéos réalisées avec l'aide de quelque 3 426 acteurs tenant des conversations.

2 114 participants ont été réunis. « Parmi eux, des experts de renommée mondiale » selon Facebook. Des travailleurs du réseau social ont également participé, sans pouvoir prétendre aux prix totalisant 1 million de dollars.

Les chercheurs ont eu accès aux 100 000 vidéos réunies par Facebook. Puis, les modèles mis au point ont été testés sur ces vidéos. Dans ce cas, les chiffres ont été satisfaisants : le meilleur modèle proposé a fait mouche dans 82,56% des cas.

Mais lorsque les algorithmes ont été soumis à des vidéos qui n'avaient pas été proposées aux chercheurs et devant reproduire les « exemples délicats du monde réel », la précision a considérablement baissé. Le meilleur algorithme proposé n'a alors réussi à détecter les deepfakes que dans 65,18% des cas.

Les deepfakes, un « problème encore irrésolu »

Si les résultats de ce concours sont encourageants, ils sont encore insuffisants aux yeux du réseau social. Dans son communiqué, il souligne qu'aucun participant n'a atteint une précision d'au moins 70%, ajoutant :
« L'identification de ces caractéristiques communes aidera les chercheurs à améliorer leurs modèles, mais les résultats du DFDC montrent également qu'il s'agit toujours d'un problème irrésolu ».

Facebook multiplie les efforts contre les deepfakes, comme d'autres entreprises de la tech. En septembre dernier, Google publiait 3 000 deepfakes dans le but d'aider à leur détection par des algorithmes.

Mike Schroepfer, le directeur technique de Facebook, veut anticiper face à l'expansion des deepfakes. Pour lui, ils « ne sont pas un gros problème pour le moment. Mais la leçon que j'ai durement apprise ces deux dernières années est de ne pas être pris au dépourvu. Je préfère être bien préparé à de mauvaises choses qui n'arriveront jamais plutôt que l'inverse ».

Parallèlement au Deefake Detection Challenge, Facebook a aussi récemment lancé le Hateful Memes Challenge, qui doit permettre de détecter plus rapidement les discours de haine.

Sources : MIT, The Verge, Facebook AI