Il n’y a presque plus de tiret cadratin dans les textes de Claude Opus 5.5. D’après une étude de l’agence Graphite, la prose du nouveau modèle d’Anthropic est aussi moins maniérée que celle d’Opus 5. Les auteurs de l’étude ont malgré tout relevé 2 548 tournures employées bien plus souvent par cette IA que par un auteur humain.
Il y a un an encore, il suffisait d’une rafale de tirets cadratins pour soupçonner un texte d’avoir été écrit par ChatGPT ou Claude. Des lecteurs passent désormais les textes suspects au crible de détecteurs automatiques, et les soupçons d’écriture par IA autour du roman de Thélyson Orélien ont été nourris à la rentrée par l’outil Pangram. La start-up américaine qui le développe a levé 9 millions de dollars en juillet.
Graphite traque ces indices dans les textes générés. Après une première version publiée le 16 septembre, l’agence a étendu son étude le 1er octobre à Claude Opus 5.5, lancé par Anthropic le 22 septembre.
Les textes du nouveau modèle portent moins de marques visibles, mais les chercheurs comptent encore des milliers d’indices plus discrets.
Un vocabulaire plus humain chez Opus 5.5
Pour mesurer l’écart entre l’IA et l’humain, les chercheurs de Graphite ont rassemblé 9 974 sujets. Pour chacun, ils ont mis en comparaison un article humain publié avant l’arrivée de ChatGPT et un article généré par chaque modèle testé. Leur premier indicateur est la divergence de Jensen-Shannon. Plus sa valeur est basse, plus la répartition des mots du modèle est fidèle à celle des auteurs humains. Elle est de 0,052 pour Opus 5.5, contre 0,064 pour Opus 5, soit une baisse de 19 %. Chez OpenAI, en revanche, l'écart est plus grand avec GPT-6 Astra (0,109) qu’avec GPT-5.6 Sol (0,101), soit 8 % de plus.
Les chercheurs ont aussi noté chaque texte de 0 à 100 sur sa prose maniérée. Il s’agit, selon la définition d’Anthropic reprise par l’étude, des métaphores et des fioritures employées à la place d’un énoncé direct. Le score d’Opus 5.5 est de 10,57, contre 16,75 pour Opus 5, soit 37 % de moins. Les articles humains sont notés 6,65 en moyenne, si bien que le score du modèle d'Anthropic est encore 1,6 fois plus élevé, contre 1,2 fois pour Astra. Ces notes ont d’ailleurs été attribuées à l’aveugle par Claude Opus 5.
Côté ponctuation, il n’y a plus que 0,015 tiret cadratin pour 1 000 mots dans les textes d'Opus 5.5, contre 2,92 chez Opus 5. La baisse est de 99 %, et ce taux est désormais très inférieur à celui des articles humains d’avant ChatGPT.
Les 2 548 tics d’écriture d’Opus 5.5
Pour Graphite, un « indice » est une tournure employée au moins deux fois plus souvent par un modèle que par un auteur humain. Dans les textes d’Opus 5.5, les chercheurs ont relevé 2 548 tournures de ce type, contre 2 666 chez Opus 5 et 3 746 chez Opus 4. Entre les deux dernières versions, la baisse n’est donc que de 4 %.
L’étude porte sur des articles rédigés en anglais, et ses exemples sont donc anglais. En tête de liste, l’expression « this matters » (« c’est important ») est 116 fois plus fréquente chez Opus 5.5 que chez un auteur humain. La structure « why _ matters » (« pourquoi _ compte ») l’est 92 fois plus, et « looking ahead » (« pour la suite ») 40 fois plus. L’adjectif « dependable » (« fiable ») est employé 23 fois plus souvent.
Les tics d'Opus 5.5 ne sont pas ceux d'Opus 5. L'expression « is genuinely » (« est véritablement ») était 26 fois plus fréquente chez Opus 5 que chez son successeur. Chez Opus 5.5, le vocabulaire est plus serviable, avec un « can help you » (« peut vous aider ») huit fois plus fréquent que chez Opus 5. GPT-6 Astra nuance davantage ses affirmations, et la formule « does not establish » (« ne permet pas d’établir ») est 275 fois plus fréquente dans ses textes que chez Opus 5.5. Les superlatifs sont au contraire plus nombreux chez le modèle d’Anthropic, où « the most powerful » (« le plus puissant ») est 24 fois plus fréquent que chez Astra.
Pour Gizmodo, ces résultats sont à prendre avec des pincettes, puisque Graphite est une agence de marketing. AJ Dellinger, l’auteur de l’article, voit dans l’exercice une partie de jeu de la taupe. Chaque fois qu’un éditeur d’IA corrige un défaut visible de son modèle, il en apparaît d’autres. Graphite a mis les données brutes de son étude en téléchargement libre. D’autres équipes pourront donc vérifier si les éditeurs de détecteurs, Pangram en tête, repèrent aussi bien les textes d'Opus 5.5 que ceux de ses prédécesseurs.
