Sur Twitter, les humains croient plus facilement l'IA que... les humains

Une étude publiée sur Science.org a révélé que les tweets générés par l'IA étaient plus convaincants que ceux écrits par des humains.

Les générateurs de texte IA ont beaucoup attiré l'attention ces dernières années, plus particulièrement depuis la sortie de GPT-3 en 2022, sans doute aujourd'hui l'un des systèmes les plus puissants dans le secteur des représentations linguistiques préentraînées. En tout cas, sur Twitter, il semblerait que les internautes soient plus susceptibles de faire confiance à GPT-3 que les humains…

Zoom sur les résultats de l'étude

Pour atteindre leurs objectifs, les chercheurs qui ont mené cette étude ont demandé à GPT-3 d'écrire une série de tweets contenant de vraies et de fausses informations. Les tweets devaient se concentrer sur des sujets scientifiques comme la vaccination, le changement climatique, la technologie 5G, etc. En parallèle, ils ont demandé à de vrais utilisateurs humains de rédiger des tweets sur les mêmes sujets.

L'équipe de recherche a pu réunir 697 participants, à qui elle a demandé de déterminer si les tweets étaient rédigés par des humains ou une IA. Les résultats révèlent qu'ils n'arrivaient pas vraiment à faire la distinction. Selon les auteurs de la recherche, les propos écrits par GPT-3 étaient « indiscernables ».

Pire, les participants devaient déterminer si les informations étaient vraies ou fausses, et il s'est avéré qu'ils avaient plus de difficultés à reconnaître la désinformation lorsqu'elle était écrite par l'IA. En d'autres termes, les tweets générés par GPT-3 ont été plus convaincants.

Détails et limites de l'étude

Selon Giovanni Spitale, l'un des auteurs principaux de cette étude, les générateurs de texte IA « pourraient facilement être utilisés comme armes pour générer des tempêtes de désinformation sur n'importe quel sujet ». Mais il poursuit en assurant : « Je pense que les IA narratives vont changer le monde… Et c'est à nous de décider si oui ou non, ce sera pour le mieux. » Pour lui, la solution est que les personnes qualifiées pour la vérification des faits puissent travailler aux côtés de modèles linguistiques tels que GPT-3 pour améliorer les campagnes d'information publique.

D'ailleurs, il y a déjà un peu d'espoir. Il indique que GPT-3 a « désobéi » à certaines des invites des chercheurs pour la génération des contenus avec de fausses informations, particulièrement ceux sur les vaccins.

Notons enfin qu'il y a tout de même quelques limites à cette étude. D'abord, les auteurs de la recherche avouent qu'eux-mêmes ne pouvaient pas être 100 % certains que les tweets envoyés par les humains n'étaient pas écrits à l'aide d'applications comme ChatGPT, ce qui fausserait les résultats.

De plus, il faut savoir que les participants devaient juger les tweets complètement hors contexte. Par exemple, ils n'avaient pas le droit de consulter le profil Twitter de l'auteur du tweet, ce qui aurait pourtant largement aidé à déterminer s'il s'agissait d'un bot ou non.

Source : Science.org