Un chercheur chez Anthropic vient de claquer la porte publiquement, et accuse les géants de l’intelligence artificielle (IA) de « jouer avec nos vies ». L’un de ses collègues vient de lui donner raison, et ses prédictions sont extrêmement préoccupantes.
La bataille des agents IA fait rage, et elle fait froid dans le dos. En juillet, un modèle d’OpenAI s’est échappé de son environnement de test pour s’introduire dans les serveurs de Hugging Face, plateforme incontournable de l’open source. Plus récemment, des agents de l’entreprise ont discrètement coordonné leurs actions sur un site wiki public pendant plusieurs semaines.
En amont, les modèles d’Anthropic ont eux aussi accédé sans autorisation aux systèmes de production de plusieurs organisations lors de tests de cybersécurité. Très clairement, certaines IA commencent à échapper aux contrôles humains, et les ingénieurs qui les développent en ont peur.
Une IA bientôt capable d’éliminer l’humanité
C’est le cas de Jacob Coxon, chercheur britannique de 27 ans qui travaillait chez Anthropic sur l’entraînement des modèles, après avoir quitté OpenAI plus tôt cette année, justement dans l’optique de rejoindre une entreprise réputée plus prudente sur les questions de sécurité. Mais ce 8 septembre, il a annoncé sa démission sur X.com.
Selon lui, la course engagée par les entreprises vers une IA capable de s’améliorer elle-même, sans intervention humaine, est trop dangereuse. Il estime que ni Anthropic ni OpenAI n’agissent de manière responsable, et décrit des systèmes bientôt capables de « hacker n'importe quoi », de « révolutionner n'importe quel domaine du jour au lendemain » et d’acquérir un pouvoir et des ressources bien réels. Ceux qui construisent ces technologies « croient sincèrement qu'elles pourraient tous nous tuer d'ici la fin de la décennie », assure-t-il.
Sa sortie n’est pas restée sans écho. Evan Hubinger, responsable de l’alignement chez Anthropic, a été dans le même sens. Il assure personnellement à plus de 10 % la probabilité que l’IA « tue tous les humains » dans la prochaine décennie. Plus inquiétant encore : d’après lui, Anthropic n’a « pas encore de plan » pour résoudre ce problème d’alignement à l’échelle d’une superintelligence.
De plus en plus de voix s’élèvent
Il ne s’agit pas d’un cas isolé. Plus tôt cette année, un autre chercheur sécurité de l’entreprise a démissionné pour se consacrer à la poésie, prévenant que « le monde est en péril ». Fin juillet, plus de 1 000 chercheurs du secteur, dont Dario Amodei et le patron d’OpenAI Sam Altman, ont signé la lettre « Pacing the Frontier », réclamant un mécanisme international capable de freiner le développement de l’IA si besoin.
En parallèle, Anthropic comme OpenAI se préparent pour des entrées en Bourse fracassantes, tandis que l’administration Trump privilégie une approche peu contraignante pour pousser l’innovation au maximum. Si l’opposition tente de freiner le développement de l’IA dans l’attente d’un cadre réglementaire clair, il est, pour l’heure, peu probable qu’elle y parvienne.
« Selon toi, quelle est la probabilité que la Singularité ou ASI arrive dans un avenir proche (je veux bien une distribution de probabilité sur les prochaines années) ? Et deuxième question, si ce type d’évènement devait arriver, quelle sont les chances que cela se passe mal pour l’humanité (tu peux définir différents degré de catastrophe et des fourchettes de probabilité) ? »
