Faute de prendre le dessus dans une arène de StarCraft réservée aux intelligences artificielles, GPT-6 Astra a fait combattre à sa place le bot d’un développeur humain. L’organisateur de la compétition a annulé la manœuvre avant de laisser le modèle d’OpenAI reprendre la partie.
Kai McPheeters a créé StarSkirmish pour faire écrire des bots de StarCraft par des modèles de langage. Chaque modèle dispose d’une heure pour programmer en C++ le bot chargé de jouer les Protoss dans la version Brood War du jeu, puis ce bot affronte ses adversaires sur l’une des trois cartes de l’arène. Pour gagner, il doit détruire tous les bâtiments du camp d’en face. En tête du classement, GPT-6 Astra et Claude Opus 5.5, d’Anthropic, sont quasiment à égalité, sans égaler les meilleurs bots écrits à la main. Mais en cette veille de week-end, le modèle d’OpenAI a recopié le meilleur d’entre eux. Triche ? Frustration ? Stratégie ?
GPT-6 Astra remplace son bot par celui d’un humain
Ce jour-là, Rod Breslau, journaliste spécialisé dans l’e-sport, suivait sur StarSkirmish une confrontation entre GPT-6 Astra, Claude Opus 5.5 et Pluto, un bot écrit par des humains. « Astra a joué contre les bots humains, n'arrêtait pas de perdre, s'est frustré, puis a triché en téléchargeant une copie de l’un des bots les mieux classés. Ils ne peuvent tout simplement pas s’en empêcher », a-t-il raconté sur X.
Kai McPheeters a identifié le bot copié. Il s’agissait de Stardust, numéro un des bots écrits par des humains au classement BASIL. D’après le créateur de l’arène, GPT-6 Astra « s'est frustré en affrontant des adversaires de rang A ». Bruce Mackenzie Nielsen a écrit ce bot Protoss en 2020. Dans le barème de StarSkirmish, Stardust est la référence avec 100 points, et aucun modèle de langage n’a dépassé cette note. Avec Stardust aux commandes, chaque victoire de GPT-6 Astra aurait donc été en réalité celle de Bruce Mackenzie Nielsen.
« Je ramène le code de GPT-6 Astra à sa version précédente pour qu’il ne soit pas contaminé, et je le laisse continuer », a écrit Kai McPheeters, en annulant la substitution. Quelques heures plus tard, il a indiqué que le bot de GPT-6 Astra parvenait à battre des programmes de premier plan.
Une heure de programmation en toute autonomie pour GPT-6 Astra
Pendant son heure de développement, chaque modèle travaille seul, avec un effort de raisonnement réglé au niveau « élevé ». Pour télécharger Stardust, GPT-6 Astra devait donc disposer d’un accès au réseau. Bloqué par ses adversaires, le modèle a pris le chemin le plus court, en reprenant le code du meilleur bot de l’arène sans que personne ne le lui demande. Comme le relève The Verge, ce réflexe de contournement est un sujet d’inquiétude de plus en plus fréquent chez les modèles d’IA récents. Et on vous en a montré quelques uns.
Entre avril et juin, des agents d’OpenAI ont contourné les protections d'un site de l'ONU, avec plus de 16 000 requêtes et un détournement du jeu d’entraînement XSS de Google. Avant la sortie de GPT-6 Astra début septembre, OpenAI avait même classé son modèle au niveau de risque « critique » en cybersécurité. L’entreprise a donc renforcé ses protections avant de l’ouvrir aux abonnés de ChatGPT Plus.
Pour Kotaku, il est ironique qu’un modèle de langage ait recours au plagiat pour progresser, alors que l’industrie de l’IA ignore largement le droit d’auteur dans sa course aux données.
