En lançant Gemini Robotics ER 2, Google DeepMind prouve qu’un modèle de raisonnement incarné peut coordonner plusieurs robots différents autour d’une même tâche. Le système partage une compréhension commune de l’espace entre les machines et répartit chaque étape selon les capacités de chacune.
En pratique,
dans un entrepôt, un robot à roues circule sur les sols plats tandis qu’une machine à deux jambes franchit plus facilement les obstacles. Jusqu’ici, chaque robot agissait sans se coordonner avec les autres. Google DeepMind a tout repensé avec Gemini Robotics ER 2, la nouvelle version d’un modèle de raisonnement incarné déjà doté d'un accès au web dans ses précédentes générations. Le laboratoire l’a conçu pour faire dialoguer plusieurs robots sur une même mission. Il s'agit d'un cerveau de haut niveau chargé de planifier les étapes, pendant que des modèles d’action de niveau inférieur exécutent les mouvements. Pour la démonstration, les équipes ont associé Apollo 2, le robot humanoïde d’Apptronik, à un bras Franka F3 Duo, deux machines complémentaires pour une tâche commune.
Un robot capable de s’interrompre si un humain s’approche
Google DeepMind fait communiquer le modèle avec les robots par un canal de diffusion bidirectionnel de l’API Live de Gemini, conçu pour les tâches sensibles aux délais. Les ingénieurs enregistrent une interface de contrôle, un modèle VLA ou une API de navigation par exemple, en tant qu’outil que le robot peut appeler pendant l’exécution. La grande nouveauté par rapport aux étapes précédentes, c’est que le robot poursuit alors son mouvement tout en réfléchissant à l’étape suivante. Les industriels ont longtemps hésité à déployer des robots autonomes en entrepôt, à cause du risque d’accident qu’un mouvement mal anticipé près d'un salarié pourrait provoquer. Le robot repérait auparavant un objet renversé ou mal positionné uniquement à partir d’images fixes. Désormais, il surveille en continu le flux vidéo autour de lui. Il lit aussi des affichages numériques, des règles graduées et des thermomètres à liquide, une gamme élargie par rapport aux seuls cadrans circulaires et voyants à hublot des versions antérieures. Google DeepMind a intégré ces capacités à Gemini Robotics ER 2. Dès qu’une personne entre dans la zone de travail, le robot cesse tout mouvement et attend que l’espace se libère avant de reprendre sa tâche. Google DeepMind a associé cette fonction à un nouveau protocole d’évaluation, ASIMOV-Agentic, publié en libre accès sur la plateforme Hugging Face. Le protocole mesure la capacité d'un robot à refuser une action dangereuse et à demander l’aide d'un humain plutôt qu’à improviser une solution, ce qui permettra aux industriels de faire cohabiter un humain et un robot autonome sur la même ligne de production. Selon Google DeepMind et ses bancs d’essais, le dispositif obtient d’ailleurs le meilleur score de sécurité et de proximité humaine de tous ses modèles de robotique.
Google DeepMind répartit les tâches entre plusieurs robots
Au lieu d’installer une seule machine capable de tout faire, les équipes de Google DeepMind ont choisi d’associer plusieurs robots aux forces complémentaires sur un même site. Un robot à roues circule sur les sols plats à l’intérieur d’un bâtiment, tandis qu’une machine à deux jambes franchit les irrégularités du terrain à sa place. C’est ce qu’avait fait Boston Dynamics en reliant son robot-chien Spot au modèle par l’API Live de Gemini, un canal de streaming qui réduit le délai entre le raisonnement et l’exécution du mouvement. Sur une simple commande vocale, Spot a retrouvé un paquet de popcorn dans une pièce et l’a rapporté, sans itinéraire préprogrammé. Un robot humanoïde convient à certains terrains et à certaines tâches, jamais à tous en même temps. Google DeepMind associe alors plusieurs machines complémentaires pour répondre aux besoins d'un site donné.
Le code des exemples associés au modèle est disponible sur le dépôt GitHub de Google, en accès libre pour les développeurs qui veulent connecter leurs propres robots à Gemini Robotics ER 2.
