Depuis le 21 juillet, n'importe quel lecteur peut passer un texte publié sur Substack au détecteur d'intelligence artificielle. Les auteurs de la plateforme, eux, ont trouvé un mot pour désigner l'exercice : chasse aux sorcières.
Les outils de détection de texte généré traînent une réputation compliquée depuis leur apparition dans les universités, où ils ont accusé à tort suffisamment d'étudiants pour que plusieurs établissements finissent par les désactiver. C'est pourtant ce type d'outil que Substack, plateforme de référence des lettres d'information payantes, vient d'intégrer directement dans son application. Le média américain 404 Media a recueilli les premières réactions d'auteurs, et elles sont loin de l'enthousiasme escompté par la direction.
Un bouton, un pourcentage, et beaucoup de conséquences
Depuis le menu d'un article, d'une note, d'une réponse ou d'un commentaire de plus de cent mots, un lecteur lance l'analyse en trois clics. Il obtient une répartition en pourcentages entre écriture humaine, écriture assistée et texte généré. Le moteur est fourni par Pangram Labs, un classificateur entraîné exclusivement sur des textes humains publiés avant 2021, c'est-à-dire avant que l'IA générative ne se répande sur le web. Son éditeur revendique un taux de faux positifs de 0,01 %, soit un cas sur dix mille.
Le patron de Substack a forgé un terme pour désigner ce qu'il entend combattre : le « Claudefishing », soit le fait de capter l'attention d'un lecteur avec un texte que personne n'a réellement pensé. L'entreprise prend soin de préciser qu'elle n'interdit rien. Le score ne s'affiche que si un lecteur le demande. Les auteurs peuvent tester leurs brouillons avant publication, contester un résultat qu'ils jugent erroné, désactiver l'affichage article par article et publier une déclaration expliquant leur méthode de travail. Aucun réglage global ne permet en revanche de couper la fonction pour l'ensemble d'une publication.
L'outil n'est pas un inconnu pour les lecteurs de Clubic. C'est celui-là même que le Vatican a mobilisé pour établir l'authenticité de l'encyclique anti-IA du pape, avec un verdict à 94 % d'écriture humaine et huit segments retouchés sur 43 000 mots. La plateforme figure d'ailleurs dans notre sélection d'outils de détection de contenus générés. Pas de doute, en dehors d'un oeil aguerri aux tics de langage des LLM, il s'agit du meilleur outil du marché. Mais être le meilleur ne veut pas dire qu'il n'a pas de sérieuses limites.
Ce que promettent les détecteurs, ce qu'ils tiennent
Un taux d'erreur d'un sur dix mille se défend très bien sur une page de présentation. Il se défend nettement moins bien face à l'historique du secteur. Turnitin, longtemps présenté comme la référence académique, annonçait moins de 1 % de faux positifs. Une analyse indépendante publiée en 2023 mesurait pourtant un taux supérieur à 50 % sur certains corpus. La difficulté est structurelle. Un détecteur repère des régularités statistiques, pas une intention, et il ne distingue pas un texte écrit par une machine d'un texte écrit par un humain puis relu par un correcteur automatique. Les auteurs qui rédigent dans une langue seconde, dont la syntaxe tend justement vers la régularité, en font régulièrement les frais.
Quelques jours après le déploiement de Substack, le 2 août, l'article 50 du règlement européen sur l'IA entre en application et impose de marquer à la source plutôt que de détecter après coup. Les fournisseurs devront apposer sur les contenus générés un marquage lisible par machine, filigrane ou métadonnées, doublé d'un étiquetage visible pour l'utilisateur. Le manquement expose à 15 millions d'euros d'amende ou 3 % du chiffre d'affaires mondial. La Commission européenne a publié ses lignes directrices en mai et son code de bonnes pratiques en juin, avec un délai de grâce technique jusqu'au 2 décembre. La raison de ce sursis mérite d'être soulignée : marquer un texte de manière robuste et invisible reste, de l'aveu même du régulateur, un problème non résolu. Bruxelles reconnaît donc ne pas savoir faire ce qu'une entreprise californienne annonce réussir à 0,01 % près, dans l'autre sens.
Pour un auteur de lettre d'information francophone, la conséquence est immédiate et concrète (et ils sont de plus en plus selon cet excellent article de Revue21). Vos textes publiés après le 21 juillet sont scannables par n'importe quel abonné, et le réglage se coupe article par article depuis les options de publication. La déclaration de méthode reste probablement la meilleure protection disponible. Elle a au moins le mérite de raconter comment vous travaillez, ce qu'aucun pourcentage ne fera jamais à votre place.
