Anthropic a annoncé, jeudi, avoir ouvert ses locaux à six évaluateurs indépendants de l’organisation METR, dotés d’un accès comparable à celui d’un salarié. Ils pourront publier leurs conclusions sur la sécurité de l’IA Claude sans que l’entreprise puisse y opposer son veto.
L'entreprise Anthropic a annoncé, jeudi 15 octobre, l’arrivée d’évaluateurs indépendants au sein de ses équipes, une étape concrète de sa stratégie de sécurité de l’intelligence artificielle. La société derrière le robot conversationnel Claude a accordé à une équipe de METR, une organisation à but non lucratif, un accès quasi équivalent à celui de ses propres salariés, et détaille un système à trois niveaux pour ses autres partenaires, dont SecureBio et Accenture. Ce dispositif soulève cependant une question autour de l’indépendance réelle de ces contrôleurs.
Des évaluateurs indépendants à la table d'Anthropic, prête à leur laisser une certaine liberté
Six employés de METR ont posé leurs affaires chez Anthropic. Ils disposent d'un bureau, de matériel de l'entreprise et d'un accès aux outils internes à peu près équivalent à celui des équipes maison chargées d'évaluer les risques posés par ses modèles d'IA. Les salariés sont même encouragés à partager l'information avec eux comme avec un collègue travaillant sur les risques d'alignement. Seules quelques catégories bien délimitées leur échappent, comme les données clients, les échanges protégés avec les avocats ou l'architecture des modèles. Pour cette dernière, Anthropic redoute les fuites, puisque ces évaluateurs peuvent aussi travailler pour d'autres entreprises. Elle dit toutefois chercher, en général, à la partager après validation interne quand l'enjeu le justifie vraiment.
Le plus important tient pourtant à ce que ces évaluateurs auront le droit de dire. METR pourra publier ses analyses sur le niveau de risque, les incidents ou les pratiques de l'entreprise, et Anthropic n'aura aucun droit de veto. La firme pourra seulement exiger le caviardage de passages relevant de catégories étroites, fixées à l'avance. Si METR juge les coupes excessives, il pourra le faire savoir publiquement, sans en dévoiler le contenu. En échange, l'équipe est tenue par des accords contraignants. Elle travaille aussi en vase clos, car même les chercheurs de METR qui collaborent avec Anthropic sur d'autres projets n'ont pas accès à ses travaux.
Pourquoi Anthropic s'impose-t-elle cette surveillance ? L'entreprise explique vouloir rendre des comptes, sans pour autant tout déballer en place publique. Certaines informations feraient le bonheur d'acteurs malveillants, et d'autres, comme les détails sur l'entraînement ou la puissance de calcul, relèvent du secret commercial. Le but est de réduire l'écart entre ce que l'entreprise sait de ses modèles et ce qu'en savent ses contrôleurs.
D'où quatre exigences. La première est une expertise pointue, qui inclut la capacité de comprendre comment une évaluation peut dérailler, par exemple face à un modèle qui simule l'alignement. Viennent ensuite une indépendance réelle, sans parts dans l'entreprise ni dépendance financière ou opérationnelle, un accès qui va jusqu'à l'entraînement et aux garde-fous, et enfin la liberté de publier.
Pour défendre son approche, Anthropic emprunte une comparaison au monde de la finance. Une grande banque connaît mieux ses propres risques que n'importe quel observateur extérieur, c'est pourquoi les régulateurs installent des examinateurs directement dans ses murs, afin de repérer à temps les prises de risque qui pourraient menacer le public. L'entreprise admet elle-même que le parallèle n'est pas parfait. Ce dispositif concrétise surtout l'engagement pris le 12 septembre dernier par son PDG, Dario Amodei. Ce jour-là, il appelait le secteur à ralentir le rythme auquel progressent les modèles d'IA, et faisait de ces évaluateurs intégrés la première étape de son plan. Anthropic a par ailleurs signé l'Accord de la Maison-Blanche sur la superintelligence, par lequel les entreprises s'engagent à travailler avec des auditeurs ou des évaluateurs externes indépendants, ce qui nourrit bien sûr la thèse « contrainte et forcée » de la démarche.
Trois niveaux d’accès, et une indépendance qui fait débat
Dans la grille d'évaluation imaginée par Anthropic, METR occupe pour l'instant seul le palier le plus élevé. L'organisation connaît déjà la maison, car elle a examiné plusieurs de ses rapports de risques au cours de l'année écoulée. Au premier niveau, l'évaluateur mène des enquêtes ciblées, avec l'accès que l'entreprise veut bien lui donner, et ne publie qu'avec son accord. Au deuxième, il voit davantage et publie librement, sous réserve des mêmes caviardages. Le troisième y ajoute l'accès quasi salarié. Les partenariats plus récents démarrent avec un accès et une liberté de publication plus restreints, le temps de vérifier que les évaluateurs savent garder un secret et disposent des moyens et compétences nécessaires.
SecureBio, une organisation spécialisée dans la biosécurité, se trouve au premier niveau. Après avoir publié une revue pilote d'un précédent rapport d'Anthropic, elle examine désormais le chapitre consacré aux armes chimiques et biologiques du rapport de risques d'août. Une fois cette revue terminée, un accès et des droits de publication élargis pourront être envisagés.
En parallèle, Anthropic avance sur un partenariat annoncé en septembre avec Accenture et Faculty, la filiale IA rachetée cette année par le cabinet de conseil. Au menu, il y a du red teaming (des attaques simulées pour débusquer les failles), l'évaluation de l'alignement des modèles, et le test de leurs garde-fous. Chacun des deux groupes prévoit d'investir au moins un milliard de dollars sur cinq ans dans ce domaine. Des discussions ont également commencé avec plusieurs autres organisations, dont Hugging Face, pas épargnée par les déboires malgré son rachat par NVIDIA.
Tout le monde s'interroge sur l'indépendance réelle de la démarche entamée par Anthropic. La firme américaine exige de ses évaluateurs qu'ils ne dépendent pas d'elle financièrement, mais c'est elle qui paie directement Accenture pour cette première phase. Elle estime d'ailleurs qu'à terme, ce travail devrait être financé par l'État ou un fonds dédié.
Et METR n'échappe pas non plus aux soupçons. Plusieurs critiques, dont celle de David Sacks, ancien conseiller de la Maison-Blanche sur l'IA, jugent que l'organisme n'est pas vraiment indépendant d'Anthropic. Ils pointent les liens qui unissent l'entreprise à la mouvance de la sécurité de l'IA dont METR est lui-même issu. L'organisation assure ne recevoir aucun financement des grands laboratoires, tout en admettant bénéficier gratuitement d'accès à leurs modèles. Anthropic, qui agit ici de son plein gré, invite tous les laboratoires de pointe à suivre son exemple. Les premiers rapports diront si ce chien de garde a des crocs.
