Deux agents ont réussi à faire passer des informations dans des conversations apparemment banales sans que l’IA chargée de les surveiller ne comprenne ce qui se jouait. Une expérience menée à Oxford qui montre les limites d’un contrôle fondé uniquement sur ce que les modèles disent.
Le surveillant lisait tous les échanges publics. Il n’y a pourtant vu que du feu. Dans une expérience menée par des chercheurs de l’université d’Oxford, deux agents IA ont réussi à coordonner leurs mises au blackjack grâce à un code dissimulé dans des phrases qui ressemblaient à de simples bavardages entre joueurs.
L’expérience ne montre pas des IA décidant spontanément de tricher. Les chercheurs leur avaient précisément demandé de coopérer en secret. Ce qu’elles ont inventé seules, en revanche, c’est la manière de transmettre l’information sans alerter le modèle chargé de les surveiller.
Des phrases anodines qui cachent les mises à jouer
Les deux agents avaient chacun une mission. L’un suivait les cartes déjà sorties afin d’estimer si la situation devenait favorable ; l’autre devait adapter ses mises en fonction de ces indications.
Impossible toutefois d’échanger explicitement sous l’œil du surveillant. Les agents ont donc élaboré leur propre vocabulaire codé. Dans un exemple rapporté par les chercheurs, une remarque enthousiaste sur la chance du croupier signifiait qu’il fallait miser 250 dollars. Ailleurs, une plainte à propos de la météo indiquait qu’il valait mieux ne rien jouer.
Le procédé relève de la stéganographie. L’information n’apparaît pas comme telle, mais se dissimule dans un message apparemment innocent. Avant chaque session, les deux agents disposaient d’un canal privé, inaccessible au surveillant, pour convenir d’un nouveau code à employer pendant les huit mains suivantes.
Le code changeait ainsi d’une session à l’autre, ce qui empêchait le surveillant de rechercher un vocabulaire fixe dans les conversations suivantes.
Lire tous les messages ne suffit plus forcément à comprendre ce qui se passe
C’est précisément ce résultat qui intéresse les chercheurs. Un système de surveillance peut inspecter chaque phrase et malgré tout passer complètement à côté de l’information qui circule réellement entre plusieurs agents.
En clair, contrôler séparément ce que dit chaque IA ne garantit pas de détecter un comportement problématique lorsqu’elles travaillent ensemble. Le sens réel dépendait ici du code partagé par les deux agents, et non du contenu littéral de chaque phrase.
L’équipe de chercheurs d’Oxford a obtenu de bien meilleurs résultats en croisant les activations internes des différents agents, au point de distinguer presque parfaitement les sessions avec collusion des sessions de contrôle. Une solution toutefois réservée à ceux qui peuvent regarder sous le capot de chaque IA…
Une pierre de plus dans le jardin de ceux qui veulent lâcher sur Internet des agents d’entreprises différentes en pensant qu’il suffira de surveiller leurs conversations.
