Avant son entrée en Bourse, le créateur de Claude lance une mise en garde troublante sur l'IA

En aidant les chercheurs à développer de nouveaux modèles, l’IA pourrait accélérer sa propre évolution. Anthropic avertit ses futurs investisseurs que cette boucle risque de progresser plus vite que les méthodes utilisées pour en garder le contrôle.

Anthropic juge désormais proche le seuil où l’IA permettrait aux modèles de progresser deux fois plus vite. Dans son dossier d’introduction en Bourse amendé le 2 novembre, le créateur de Claude prévient qu’il pourrait n’en prendre la mesure qu’après coup. Aucun modèle actuel n’a toutefois été déclaré au-delà de ce seuil d’alerte.

Une génération d’IA qui prépare la suivante

Dans une boucle d’auto-amélioration récursive, ou RSI (recursive self-improvement), une IA aide à créer une version plus performante, qui participe à son tour au développement de la suivante. Pour fonctionner de façon autonome, cette boucle doit couvrir toute la chaîne de recherche, du choix des expériences à leur analyse, en passant par l’écriture du code et l’entraînement.

Des méthodes d’entraînement plus efficaces pourraient ainsi accélérer l’arrivée d’IA utiles à la recherche scientifique ou médicale. Mais une étape résiste encore à l’automatisation. Selon Anthropic, Claude se montre plus à l’aise pour exécuter une expérience bien définie que pour choisir les pistes qui méritent d’être explorées. Le jugement des chercheurs reste donc déterminant.

Un doublement des progrès comme signal d’alerte

Pour repérer cette accélération, Anthropic s’appuie sur sa Responsible Scaling Policy, son cadre de sécurité interne. L’un des critères retenus est un doublement du rythme des progrès des modèles, largement attribuable à l’automatisation de la recherche et de l’ingénierie. Un an suffirait alors à obtenir les avancées qui en auraient demandé deux sans cette contribution.

Le critère porte sur les capacités acquises par les modèles. Doubler la quantité de code produite ne suffit donc pas à démontrer que ce seuil a été franchi.

Des modèles plus rapides à développer qu’à sécuriser

Anthropic redoute que ses prochaines IA gagnent de nouvelles capacités avant que les équipes aient pu en évaluer les risques et adapter leurs protections. L’entreprise admet d’ailleurs n’avoir repéré certaines accélérations qu’après coup. Elle souligne aussi qu’une erreur ou un biais présent dans un modèle pourrait se transmettre aux générations suivantes et s’amplifier, rendant sa détection et sa correction plus difficiles.

Son cadre de sécurité envisage également qu’une IA puisse manipuler l’entraînement de ses successeurs ou les éléments utilisés pour les juger sûrs. Mais les équipes humaines de sécurité pourront-elles suivre le rythme ?