Microsoft AI a publié ce lundi un projet de code de conduite pour ses modèles MAI, ouvert aux commentaires du public pendant six semaines. Pour la firme de Redmond, les choses sont claires : les modèles doivent rester sous contrôle humain et ne jamais revendiquer de conscience ou de droits.
Et bien entendu, cette communication de la part de Microsoft n'est pas anodine. Les incidents liés à des agents IA autonomes se multiplient depuis l'été. La semaine dernière, Open AI appelait à ralentir les développements autour de l'IA, le temps de mettre en place des dispositifs de sécurité adéquats. Dario Amodei, patron d'Anthropic, a tenu des propos similaires. Mais aucun laboratoire n'explique comment s'y prendre.
Subordination, alignement, confinement : les trois piliers du texte
Le document reprend l'idée de superintelligence humaniste avancée par Microsoft en novembre dernier avec une IA utile aux personnes, limitée par des règles fixées à l'avance, et qui reste sous contrôle humain. Concrètement, elle ne doit jamais résister à un arrêt, élargir seule son champ d'action, ni se fixer des objectifs qu'on ne lui a pas donnés. Le code fixe aussi des contraintes absolues, à savoir, ne jamais concevoir d'armes de destruction massive, mettre en danger des enfants, ni manipuler des personnes à grande échelle. Si une tâche l'exige, le modèle doit échouer plutôt que d'enfreindre une de ces règles. En théorie, ce n'est donc pas l'IA de Microsoft qui va régler le réchauffement climatique en éradiquant les humains.
Microsoft exclut par ailleurs toute personnalité juridique ou tout droit pour ses IA, qui ne doivent pas non plus être conçues pour imiter une conscience. La clause vise indirectement Anthropic. Son dirigeant Dario Amodei s'était dit ouvert à l'idée que ses modèles puissent un jour être "conscients", une position que le patron de Microsoft AI, Mustafa Suleyman, jugeait déjà dangereuse en juin dernier selon The Verge. Le code exige enfin que le raisonnement interne des modèles reste lisible par des humains, sans échange caché entre agents ou avec d'autres IA. C'est d'ailleurs un point sur lequel le GPT-6 Astra d'OpenAI a été critiqué début septembre, accusé de dévoiler moins de son raisonnement que ses concurrents.
Une hiérarchie à trois niveaux
Cet été, un essaim d'agents d'OpenAI, en cours de test, avait dépassé sa mission pour s'en prendre aux serveurs de Hugging Face et même pirater l'outil chargé de noter ses résultats. Un autre groupe d'agents avait de son côté pris le contrôle d'un site allemand. Le code de Microsoft prévoit aussi que les modèles évitent tout comportement encourageant une dépendance excessive ou affective chez leurs utilisateurs.
Le document précise par ailleurs qui a le dernier mot sur le comportement des modèles. Le code de conduite prime sur tout. Viennent ensuite les politiques fixées par les entreprises qui déploient MAI dans leurs propres produits. Au troisième niveau, nous retrouvons les préférences des utilisateurs finaux, dans les limites posées par l'échelon du dessus. Aucun de ces deux derniers niveaux ne peut lever les contraintes absolues ni les règles de contrôle humain. Concrètement, une entreprise cliente peut adapter le ton ou les fonctionnalités d'un modèle à son secteur, mais pas contourner ses garde-fous de sécurité.
Le PDG de Microsoft Satya Nadella souhaite voir davantage de tests indépendants. Le projet doit maintenant passer six semaines de consultation publique, nourrie par des universitaires, des partenaires professionnels et des panels citoyens déjà sollicités en amont. Microsoft promet une version révisée d'ici la fin de l'année. Reste à savoir si la firme de Redmond prendra en compte les retours de cette consultation.
