Victor Hugo a échoué à un test de détection d’IA, du moins dans l’expérience publiée par Jean-Jacques Dulin sur LinkedIn. Maupassant et Baudelaire ont en revanche obtenu un score de 100 % humain sur Pangram. C’est avec ce logiciel qu’un essayiste a mis en cause le roman de Thélyson Orélien, exclu ce vendredi de la sélection du Goncourt.
Le 22 septembre, le compte X Balance ton Claude a accusé C’était ça ou mourir, paru chez Grasset, d’être presque entièrement le produit d’une intelligence artificielle, analyses de Pangram à l’appui. L’essayiste Samuel Fitoussi a ensuite affirmé être à l’origine de cette polémique. La presse québécoise a de son côté mis au jour plusieurs plagiats dans des textes plus anciens de l’auteur. Dans un communiqué diffusé ce vendredi, l'Académie Goncourt a retiré le roman de sa première liste en invoquant ces plagiats. Pour ses membres, le livre est en outre « selon toute vraisemblance très largement le produit d'une Intelligence Artificielle ». Thélyson Orélien conteste avoir eu recours à l’IA. Mais que mesure réellement un détecteur quand il analyse un roman, et comment Victor Hugo peut-il échouer à ce type de test ?
Pangram mesure l’écart entre écriture humaine et réécriture par IA
Deux anciens de Stanford, Max Spero et Bradley Emi, ont fondé Pangram en 2023. Pour entraîner leur outil, ils ont rassemblé des millions de textes écrits par des humains, puis ont demandé à plusieurs modèles d’IA de les reformuler. Leur classifieur a ensuite été entraîné sur ces paires de textes, afin de mesurer l’écart statistique entre une phrase humaine et sa réécriture par une machine, de la régularité des constructions à la distribution du vocabulaire.
En août, les chercheurs du Pew Research Center ont trouvé des marqueurs d'IA sur une page web sur dix, après avoir analysé 490 000 pages en anglais avec Open Pangram. Un mois plus tôt, Substack avait intégré le classifieur de Pangram à sa plateforme, et ses lecteurs peuvent analyser en quelques clics tout texte de plus de 100 mots. Deux anciens de Stanford, Max Spero et Bradley Emi, ont fondé l’entreprise en 2023. Pour entraîner leur outil, ils ont rassemblé des millions de textes écrits par des humains, puis ont demandé à plusieurs modèles d'IA de les reformuler. Le logiciel est ainsi conçu pour mesurer l'écart statistique entre une phrase humaine et sa réécriture par une machine.
Les journalistes des Décrypteurs de Radio-Canada ont soumis à Pangram des chapitres entiers de la Bible et neuf classiques de la littérature française, de Maupassant à Michel Foucault. Chacun de ces textes a été classé 100 % humain. Lors du test mené par le JDN, un seul des 85 textes humains soumis a été classé à tort du côté de l’IA, à 70 %. Il s’agissait d’une interview transcrite automatiquement puis retravaillée. Pangram annonce pour sa part un taux de faux positifs de 0,0026 % en français, mais ce chiffre est issu de ses tests internes. En 2024, lors des premiers tests indépendants, Marzena Karpinska, professeure à l’Université Simon Fraser, avait mesuré un taux de 2 %. Elle a expliqué depuis avoir « beaucoup de confiance envers Pangram, en particulier pour des textes plus longs ».
Victor Hugo recalé par les détecteurs fondés sur la prévisibilité
Les concepteurs de nombreux détecteurs calculent la perplexité d’un texte. La perplexité est le degré de surprise d'un modèle de langage devant chaque mot, et un texte trop prévisible est alors classé du côté de l’IA. Ces détecteurs classent ainsi la Déclaration d’indépendance américaine parmi les textes générés, a expliqué en mars 2025 Bradley Emi, directeur technique de Pangram, dans un billet consacré à cette méthode. Les concepteurs de modèles de langage ont intégré massivement ce texte, reproduit dans d’innombrables manuels et pages web, à leurs corpus d’entraînement, puis ont entraîné ces modèles à réduire leur perplexité sur ces données. Chaque mot de la Déclaration est alors presque parfaitement prévisible pour eux, et ce texte humain porte la signature statistique d’une IA. Libres de droits et reproduites sur des milliers de sites, les œuvres de Victor Hugo sont exposées au même biais.
- Détection IA détaillée
- Interface simple à utiliser
- Détection des reformulations
Jean-Jacques Dulin est conférencier, en Histoire des sciences, Intelligence artificielle, Esprit critique et ingénieur retraité. Il a passé le style de dix grands écrivains français, tous morts avant l’invention de l’informatique, aux tamis des critères utilisés pour repérer un texte écrit par une IA. Il a obtenu des scores plus « humains » pour certains auteurs que pour d’autres, alors que tous le sont par définition. Pour lui, un détecteur mesure surtout des caractéristiques statistiques du texte, si bien que plus Flaubert polit sa phrase, plus un outil mal conçu risque de la trouver suspecte. Jean-Jacques Dulin n’a pas précisé quel logiciel il a utilisé, et l’un de ses lecteurs a objecté en commentaire qu’un détecteur de style ne devient pertinent qu’à partir de 70 à 80 % d'IA.
De nombreux comptes ont par ailleurs diffusé sur X de fausses analyses Pangram de textes de Victor Hugo ou de Mary Shelley, selon Next. Les journalistes du JDN ont en outre testé un article rédigé par des agents IA à partir de données sourcées. Ce texte a été classé à 12 % d’IA, puis à 0 % après vérification des faits.
Dans son communiqué, l’Académie Goncourt invoque « le résultat convergent de plusieurs analyses de chercheurs et journalistes dignes de foi », mais n'a nommé ni ces chercheurs ni les outils utilisés. Ses membres ont en revanche adressé un message à l’ensemble des jurys qui décernent un prix Goncourt, en France et à l’étranger. « Nous ne cautionnons ni n’adoubons […] la création de textes générés avec l’aide de l’IA », ont-ils écrit. L'Académie annonce sa deuxième liste pour le 6 octobre et ne fera aucun autre commentaire d’ici là. D’après ActuaLitté, les jurys du Renaudot et du Femina n’avaient encore annoncé aucun retrait vendredi. « Nous ne pouvons pas dire avec 100 % de certitude que c’est de l’IA », a pour sa part prévenu la Professeure et chercheuse Marzena Karpinska auprès de Radio-Canada.
