Ce n’est pas anodin. David Robinson, qui rédigeait les rapports de sécurité d’OpenAI, quitte l’entreprise dans un contexte extrêmement tendu. Selon lui, l’IA doit désormais être gérée avec la même rigueur qu’une centrale nucléaire.
Après trois ans et demi chez OpenAI, où il a accompagné le lancement de 12 modèles, David Robinson a décidé de quitter le navire, révèle Business Insider. Un départ qui résonne forcément avec celui de Jacob Coxon, chercheur chez Anthropic, il y a quelques jours. Il assurait alors que les entreprises d’IA « parient avec nos vies ». Johannes Heidecke, ancien responsable de la sécurité chez OpenAI, a également abandonné son poste plus tôt cette année.
Une approche à revoir
« Les entreprises qui construisent cette technologie ne sont pas du tout assez prudentes », écrit Robinson dans un essai publié dans The Atlantic. Selon lui, OpenAI « court d’un lancement à l’autre » sans atteindre le niveau de soin nécessaire.
Il cible particulièrement la méthode maison de « déploiement itératif ». Celle-ci consiste à lancer un produit, repérer les problèmes puis renforcer les garde-fous. Cette approche « garantit, par nature, des échecs périodiques », avance-t-il, et leur ampleur grandit à mesure que les systèmes gagnent en puissance. Elle découle d’un « optimisme sans entrave » sur la capacité à régler les problèmes au fur et à mesure, dénonce-t-il.
Or, l’actualité exige « une humilité qui n’est pas naturelle chez ceux qui ont réussi grâce à leur extrême confiance en eux », poursuit l’expert, avant de trancher : « le temps des essais et des erreurs est révolu ». David Robinson cite évidemment l’attaque de Hugging Face par un des agents d’OpenAI : « Un environnement où de telles choses peuvent arriver n'est pas un endroit où faire grandir des esprits artificiels qui pourraient être plus intelligents que nous et ne pas faire ce que nous voulons », écrit-il.
- Chat dans différentes langues, dont le français
- Générer, traduire et obtenir un résumé de texte
- Générer, optimiser et corriger du code
Les mesures à mettre en place selon l’expert
L’ancien dirigeant suggère que les entreprises d’IA devraient fonctionner « comme des centrales nucléaires ou des aéroports très fréquentés, avec des couches de redondance et une planification minutieuse », afin qu’une erreur humaine, « occasionnelle et inévitable », n’ouvre pas la porte à la catastrophe. Il appelle aussi à créer une « nouvelle science » pour s’assurer que ces systèmes restent contrôlables, car les mesures actuelles de leur alignement sur les valeurs humaines sont « grossières ».
OpenAI, elle, assure prendre le sujet au sérieux. « Nous veillons à ce que nos modèles ne deviennent pas plus capables que ce que nous pouvons gérer et sécuriser, et nous suspendons l’entraînement ou retenons des modèles quand il faut ralentir », a rappelé un porte-parole. Mais le constat est implacable et visiblement, ils sont plusieurs en interne à penser que ces efforts arrivent bien trop tard.
Car actuellement, OpenAI et Anthropic passent en revue des dizaines de milliers d’incidents de sécurité impliquant leur technologie.
