Anthropic montre comment une IA peut désormais améliorer d'autres IA

Anthropic a publié une étude dans laquelle Claude conçoit et teste lui-même des méthodes pour corriger les failles d’alignement d’autres modèles d’IA, avec de meilleurs résultats que des chercheurs humains expérimentés.

Chen Yueh-Han est le chercheur du programme Anthropic Fellows. Il a dirigé ces travaux sur un système baptisé Automated Alignment Researcher, ou AAR. Le principe reprend celui d’un vrai laboratoire. Claude consulte la littérature scientifique disponible, propose une méthode de correction, l’entraîne pendant trente minutes, puis retient ou écarte le résultat selon son efficacité.

Anthropic ajoute un agent de surveillance à cette boucle, chargé de vérifier chaque proposition avant sa mise en œuvre et d’empêcher toute tricherie, comme l’extraction des réponses attendues dans les jeux de test. Anthropic a testé cette boucle sur dix catégories de défaillances d’alignement, de la tromperie à la violation de vie privée, à l’aide de bancs d’essai publics comme Petri ou ConfAIde.

Le coût tourne autour de 4 dollars par heure de calcul, contre 150 dollars l’heure pour un chercheur humain. En moyenne, la meilleure proposition de Claude dépasse celle de chercheurs expérimentés en moins de six heures.

Sur la tromperie, Claude comble 85 % de l’écart de sécurité

Sur la catégorie la plus étudiée, la tromperie du modèle envers son utilisateur, Claude comble 85 % de l’écart de sécurité mesuré par les chercheurs, alors qu’une intervention humaine classique n’en comble que 20 %. Les méthodes trouvées par Claude conservent leur efficacité sur des modèles 4,7 fois plus grands que ceux utilisés pour les entraîner, ce qui fait dire aux chercheurs d'Anthropic que cette généralisation est encourageante.

Dans un test grandeur nature, Claude Sonnet 5 a aligné un modèle Opus 4.8 encore en développement en 60 heures, en comblant 65 % de l'écart avec seulement 2 000 exemples d’entraînement, soit environ 15 000 fois moins que la procédure standard.

Mais Anthropic est fair-play et admet des limites.

Les dix catégories testées sont étroites comparées aux défaillances rencontrées en production, et les biais politiques n'en font pas partie. La persistance des corrections après un entraînement par renforcement doit, en revanche, encore être vérifiée. Les chercheurs d’Anthropic concluent malgré tout que ces résultats forment une preuve précoce de la viabilité, à court terme, d’un alignement automatisé mené après l’entraînement des modèles.

Claude écrit l’essentiel du code d’Anthropic, mais peine sur la recherche vraiment nouvelle

Anthropic mène cette automatisation de la recherche en alignement en en même temps qu’un autre chantier interne, celui de l’automatisation du travail d’ingénierie. Comme on vous le rapportait en juin, d’après un mémo interne, plus de 80 % la part du code était écrits par Claude, contre moins de 5 % avant février 2025. En avril, des agents Claude ont résolu un problème ouvert de sécurité de l’IA en 800 heures de calcul cumulées, avec un taux de réussite de 97 %, quand deux chercheurs humains n’ont atteint que 23 % en une semaine.

Certains chercheurs continuent pourtant de douter de la capacité d’une IA à mener seule une recherche vraiment nouvelle.

Selon Sayash Kapoor, chercheur à l’université de Princeton et coauteur d'une étude publiée le 18 août, les agents testés n'ont pas réussi à mener une recherche ouverte par eux-mêmes. Ils abandonnaient des pistes prometteuses trop tôt et laissaient de côté les retours extérieurs. Les auteurs de cette étude précisent toutefois n’avoir évalué que deux articles rédigés par des agents, avec une part de subjectivité dans la conception du protocole.

Najoung Kim, professeure d’informatique à l'université de Boston et spécialiste de la recherche automatisée par agents, est tout aussi prudente sur la capacité des IA à mener une recherche vraiment ouverte.

Enfin, Jack Clark, cofondateur d’Anthropic, a écrit dans sa newsletter Import AI qu’il doutait davantage, à cause de ce manque de créativité, d’un scénario d’auto-amélioration très rapide de l'IA à court terme.