Anthropic vient de sortir son deuxième rapport de risques, comme l’entreprise s’engage à en produire tous les trois à six mois pour évaluer le danger que représentent ses modèles d’IA. Il révèle que les filtres censés bloquer les échanges liés aux armes biologiques sont restés désactivés pendant onze mois sur les plateformes utilisées par ses prestataires humains.
La faille remonte à mai 2025, date du premier déploiement de modèles dotés de ces garde-fous. Un indicateur technique réservé à un usage interne désactivait en même temps le blocage des classificateurs biologiques et la journalisation de leurs alertes : les échanges qui auraient dû être signalés n’étaient ni enregistrés, ni transmis à un quelconque mécanisme de contrôle. Anthropic dit avoir découvert le problème depuis son précédent rapport, publié en février.
Le trou concernait tout le trafic généré par les plateformes de retour humain, utilisées pour évaluer et noter les réponses des modèles Claude Fable 5 et Mythos 5. Il touchait un bassin d’environ 50 000 prestataires, pour près de 133 millions d’échanges au total. Ces personnes étaient recrutées et vérifiées par des sous-traitants externes, dont beaucoup, selon le rapport, n’avaient pas de processus de sélection capables d’arrêter ne serait-ce qu’un acteur malveillant de faible niveau. Dans une note de bas de page, on apprend même qu’avant avril 2026, un acteur malveillant aurait probablement pu se faire embaucher chez l’un de ses prestataires.
Claude Sonnet 5 rejoue onze mois d’échanges
Anthropic a fait rejouer l’ensemble des échanges concernés par un modèle classificateur, Claude Sonnet 5, chargé de repérer après coup tout contenu à risque biologique élevé. Sur les 1 197 échanges signalés, 757 provenaient des propres équipes de l’entreprise ; parmi les 440 restants, tous sauf 62 avaient été générés par des exercices de red-teaming délibérés, où des équipes internes testent les limites du système. L’examen manuel de ces 62 conversations externes, complété par un échantillon de 30 transcriptions de red-teaming, n’a permis de trouver aucun usage malveillant clairement préoccupant, si ce n’est « une poignée de conversations à double usage potentiel ».
Un second incident s’est produit en avril 2026 : des prestataires d’un sous-traitant spécialisé dans l’étiquetage de données ont exploité une faille pour obtenir une clé API leur donnant accès à Mythos Preview, un modèle non public, en dehors du cadre de leurs tâches. L’accès était resté ouvert plusieurs semaines, dont deux durant lesquelles Mythos Preview était concerné. Anthropic dit avoir neutralisé l’incident en quatre-vingt-dix minutes après en avoir eu connaissance, à la suite d'un signalement extérieur.
L'’entreprise conclut : « Cela nous conduit à penser qu'il existe une probabilité accrue que d'autres problèmes similaires, qui nous sont pour l'instant inconnus, existent également ». L’évaluation du risque lié aux armes chimiques et biologiques passe de « très faible » à « faible mais non négligeable ».
Un exemplaire de Claude a relu une autre section du rapport
Ailleurs dans le rapport, on trouve une autre expérience, consacrée au risque de dérive des modèles, et non aux armes biologiques. Anthropic a demandé à une instance de Claude Mythos 5 de relire cette section avant publication, avec accès à une large part des canaux Slack internes, à des documents confidentiels et au code source de l’entreprise. Elle a rendu sa copie en vingt-quatre minutes.
Son jugement global : « La section constitue un compte-rendu honnête et globalement fidèle de ce qu'Anthropic croit en interne. Je n'ai trouvé aucune affirmation dont je pense que les auteurs la savaient fausse ». Claude formule ensuite trois critiques. La première vise un passage qu’elle juge « plus rassurant que ce que l'ensemble des faits ne soutient » : un mécanisme d’exclusion de données cité dans cette section a échoué à plusieurs reprises pour un corpus de recherche sur l’alignement, sans que le texte n’en discute la tension. La deuxième porte sur un incident que Claude considère parmi les plus informatifs de la période, entièrement caviardé, alors qu’une version résumée aurait pu, selon elle, être publiée sans les éléments sensibles. La troisième conteste l’origine de la hausse du niveau de risque, que Claude attribue aux systèmes d’autres développeurs d’IA plutôt qu’aux modèles d'’Anthropic.
Pour Anthropic, cette relecture est globalement raisonnable et les critiques légitimes ; l’entreprise dit avoir ajouté des nuances à la section concernée à la suite de ce retour. Elle trouve la troisième critique un peu excessive, une partie de l’incertitude venant aussi, selon elle, d’incidents liés à ses propres systèmes. Claude conclut de son côté : « Sur la base des éléments que j'ai examinés, »faible« est une évaluation défendable du risque catastrophique actuel lié à un désalignement de ces modèles, et les arguments avancés pourraient même soutenir une évaluation plus basse encore, avec une réserve importante que le rapport formule déjà : ces arguments reposent largement sur la capacité limitée des modèles actuels à échapper à la supervision, et s'affaibliront à mesure que les capacités progressent ».
Participer à la discussion
Partagez votre avis avec la communauté Clubic.