Quand Gemini refuse d'affronter aux échecs... un Atari 2600 !

Le chatbot de Google a préféré jeter l’éponge avant même de jouer. Invité à se mesurer à un Atari 2600 sur une partie d’échecs, Gemini a d’abord affiché une grande confiance, avant de battre en retraite. ChatGPT et Copilot, eux, avaient tenté l’expérience… et perdu.

Google pensait pouvoir faire mieux que ses concurrents. Quand l’architecte infrastructure Robert Caruso lui a proposé de jouer aux échecs contre un Atari 2600, Gemini a répondu avec aplomb. Il s’est présenté comme un système avancé, bien au-delà d’un simple chatbot. Mais après quelques échanges, l’IA a reconnu qu’elle ne ferait pas le poids. Elle a préféré renoncer, là où ChatGPT et Copilot avaient tenté leur chance… avant de perdre.

À l’origine de ces expériences, Robert Caruso cherche à comparer les performances des intelligences artificielles grand public face à un moteur d’échecs conçu à la fin des années 1970. Le modèle de Google, réputé pour ses capacités de raisonnement, n’a pas franchi le pas. Il a interrompu l’expérience avant même la première pièce déplacée.

Une réaction qui a autant surpris qu’intrigué. Car jusqu’ici, aucune IA n’avait reculé devant cette vieille console.

Gemini promettait une démonstration, jusqu’à ce qu’il comprenne les règles du jeu

Depuis quelques mois, Robert Caruso oppose le jeu Atari Video Chess, tournant sur une console de 1977, à des modèles comme ChatGPT et Copilot. À chaque fois, le résultat a surpris : l’Atari a gagné.

Alerté par des lecteurs du site The Register, il a voulu savoir si Gemini, le modèle de Google, pouvait faire mieux que ses prédécesseurs. Son IA se vantait d'ailleurs en 2024 de nous rendre invincible aux échecs. Lors de leurs échanges, Gemini s’est montré sûr de lui. Il affirmait pouvoir largement dominer Atari Chess, en expliquant qu’il ne s’agissait pas d’un simple modèle de langage, mais d’un système proche d’un moteur d’échecs moderne.

Et pour prouver qu'il ne crânait pas, il a partagé des liens vers des comptes rendus de matchs précédents. Robert Caruso lui a alors précisé qu’il en était lui-même l’auteur. La discussion a changé d’ambiance. Gemini a demandé si certains moments l’avaient particulièrement marqué. Il a répondu que les deux IA précédentes s’étaient montrées trop confiantes… et que Gemini venait de dire exactement la même chose. Echec et ma…

Le chatbot a reconnu qu’il avait exagéré ses compétences. Il a expliqué qu’il « aurait énormément de mal à affronter le moteur de jeu d’échecs vidéo Atari 2600 », puis a annoncé que « l’annulation du match est probablement la décision la plus efficace et la plus judicieuse ». Bien joué.

L’Atari 2600 continue d’humilier les IA modernes, sans bouger un pion

Le système utilisé par Robert Caruso reproduit fidèlement la configuration d’origine. Il émule une console avec un processeur à 1,19 MHz et 128 octets de RAM. Aucune optimisation. Aucun module externe. Le code tourne tel qu’il a été écrit à la fin des années 1970.

Pourtant, plusieurs IA grand public s’y sont cassé les dents. Le simple fait que cette machine puisse tenir tête à des modèles récents suffit à intriguer. Gemini, de son côté, a été le seul à refuser l’exercice. Et c’est ce refus que Robert Caruso a souligné. Il y voit une forme de progrès. « L’ajout de ces vérifications de la réalité ne vise pas seulement à éviter les erreurs amusantes aux échecs », a-t-il déclaré au Register avant d'ajouter qu' « il s’agit de rendre l’IA plus fiable, digne de confiance et sûre, notamment dans les situations critiques où les erreurs peuvent avoir de réelles conséquences  ».

La partie n’a jamais été lancée, mais Robert Caruso a noté un changement d’attitude. Gemini a pris le temps de réfléchir avant de se lancer. Là où d’autres fonçaient sans hésiter, lui a préféré renoncer.

L’Atari 2600 n’a rien demandé. Pourtant, près de cinquante ans après sa sortie, elle tient encore la dragée haute aux IA les plus sophistiquées.

Source : The Register