Faire du shopping, réserver un resto... ce navigateur web fait tout à ma place, voici comment ça marche

Au mois d'avril, l'éditeur Opera Software présentait Opera Neon. Après avoir multiplié ses travaux sur son IA Aria, l'entreprise norvégienne partageait ses ambitions dans l'IA agentique avec un navigateur capable d'effectuer des actions à votre place. Voici à quoi cela ressemble.

Bon, autant le dire tout de suite, l'IA dans les navigateurs, à la base, ce n'est quand même ce que je cherche. Autant un accès rapide à un chatbot peut s'avérer bien pratique, autant une intégration trop poussée peut vite devenir désagréable au quotidien. Mais bon, on est quand même curieux de voir comment se débrouille un navigateur agentique.

Qu'est-ce qu'Opera Neon ?

La semaine dernière, Opera a présenté plusieurs démonstrations à une poignée de journalistes en nous partageant un peu plus d'informations sur Neon. L'intelligence artificielle implémentée au sein du navigateur est divisée en trois volets : Neon Chat présente l'interface classique du chatbot auquel l'internaute peut formuler une question. Neon Do permet de son côté de réaliser une action en laissant le navigateur exécuter des tâches à votre place. Enfin, Neon Make propose de coder un projet selon votre description. C'est un peu comme un website builder avec des fonctionnalités plus poussées, pour, par exemple, développer un petit jeu Snake.

Ce qui nous intéresse ici, c'est Neon Do, c'est-à-dire le cœur de l'IA agentique censé nous faciliter la vie et surtout automatiser certaines routines. L'IA est alors en mesure de passer au crible les différents éléments des pages Web et de translater les prompts IA en commande. Et au travers de nos tests, le dispositif fonctionne plutôt bien. Au passage, Neon Do est capable de lire et d'interagir avec le contenu des pages en passant outre les consentements de cookies sans interaction de notre part.

Faire des courses en ligne

Nous avons tout d'abord reproduit une démo fournie par Opera : acheter une simple paire de chaussettes. Pour ce faire, nous saisissons la requête suivante dans Neo Do :

Le navigateur se scinde alors en deux avec à gauche une description des tâches en cours de réalisation et à droite une prévisualisation des actions en cours d'exécution. De prime abord, le déroulement paraît assez long, surtout sur un site dont nous connaissons bien l'ergonomie. Mais relativisons, au total, l'achat a dû être réalisé en 3 minutes. Précisons que nous nous sommes au préalable connecté au compte Amazon. Opera Neon est allé jusqu'au bout de l'action et a même procédé au paiement sans demande de confirmation.

À la fin, nous obtenons le message suivant :

La tâche a été accomplie avec succès : une paire de chaussettes noires, taille 44 (lot de 2, taille allant de 43 à 46, couleur noire), a été trouvée et achetée sur Amazon France pour 6,99 €, entièrement dans la limite du budget de 10 € comme demandé. Toutes les étapes d’achat requises ont été exécutées — recherche, vérification des détails du produit, ajout au panier et autorisation du paiement — en respectant précisément les critères et instructions. Aucune action supplémentaire n’est nécessaire ; mission accomplie.

Pour l'heure, Opera Neon est en phase de test très restreinte. On imagine que par la suite, l'internaute pourra configurer s'il souhaite donner son autorisation avant chaque paiement ou l'accorder pour l'ensemble des achats réalisés sur tels ou tels sites. Opera s'est rapproché de VISA qui travaille justement sur la sécurisation des paiements réalisés par les agents IA. En attendant, nous avons dû signer une décharge…. juste au cas où….

Si Opera Neon évolue, on imagine qu'il pourrait être possible de lui transmettre toute une liste de courses à faire sur un site particulier en lui demandant d'opter pour les prix les plus bas et un créneau de livraison particulier. Surtout, l'expérience est aujourd'hui présentée au premier plan. S'il est amusant d'observer chacune des phases d'avancement, l'objectif nous semble quand même de libérer du temps à l'internaute et de replacer la réalisation de ces prompts en tâche de fond.

Et quid de la sécurité ?

Oui je vous vois venir. On ne peut toutefois s'empêcher de penser aux dérives potentielles d'une telle IA, notamment pour ce cas d'usage précis : les achats en ligne. Admettons que je ne précise pas de boutique en ligne dans mon prompt, qui me dit que celle choisie par l'IA n'est pas un partenaire privilégié de l'éditeur ? Et quand bien même, qu'est-ce qui empêche cet éditeur d'ajouter un code d'affiliation sur chacun des achats réalisés pour obtenir une commission de manière transparente ?

Face à ce type de dérives potentielles, nous avons interrogé Monika Kurczyńska, directrice de la division Recherche et Développement pour l'IA chez Opera Software. Celle-ci nous explique que les agents IA d'Opera Neon n'utilisent pas de liens affiliés et ne font pas de corrélation entre Opera et ses partenaires. Elle ajoute que "l’élément humain dans le processus est crucial, permettant aux utilisateurs d’arrêter ou de modifier le fonctionnement de Neon de deux manières : soit en donnant une instruction, soit en interagissant avec le web – par exemple, en sélectionnant une autre URL ou un autre produit sur un site."

M. Kurczyńska précise qu'à ce stade du développement, les chercheurs explorent dans quelle mesure les agents devraient pouvoir fonctionner de manière autonome et comment donner aux utilisateurs la possibilité de configurer leur comportement de navigation global.

Les autres possibilités d'Opera Neon

Au-delà du shopping en ligne, nous avons pu réaliser d'autres tests comme la planification d'un rendez-vous avec un collègue dans Google Agenda et l'envoi d'un email à un contact précis.

Mais l'action la plus intéressante reste sans doute la réservation d'une table dans un restaurant. Pour ce faire nous avons saisi le prompt suivant :

Le navigateur initie une requête sur Google, ouvre le site spécialisé The Fork, restreint la zone de recherche, sélectionne les meilleures pizzerias et procède à la réservation sans aucune interaction de ma part.

À la fin, un message m'avertit que l'action est réalisée et que j'obtiendrai la confirmation par email. Problème : je n'ai mentionné aucune adresse de messagerie dans mon prompt. À la rigueur, le navigateur pourrait exploiter l'email rattaché à mon identifiant Opera et pour lequel Neon a été activé. Mais non. En l'interrogeant, j'apprends que cette confirmation a été envoyée à [email protected]. Je m'aperçois aussi que le navigateur a utilisé un numéro de téléphone bidon dans le récapitulatif de la réservation. Bon. En tout cas, à part ces petits détails, la tâche a bel et bien été réalisée

La traduction des prompts en actions fonctionne donc vraiment bien et si le projet n'en est qu'au stade initial, on imagine déjà pouvoir calibrer plus finement certaines actions en tâche de fond et les associer à des raccourcis clavier. Et d'emblée, l'omniprésence de l'IA dans mon navigateur pourrait bien arrêter de me faire grincer les dents si elle s'avère productive.

Pour l'heure, Opera Neon n'est pas disponible au téléchargement même en version alpha pour les développeurs. On imagine que les ingénieurs sont en train d'encadrer le comportement de l'intelligence artificielle. On nous confirme en tout cas que ces usages, une fois qu'ils seront bien calibrés, reposeront sur un abonnement payant. Il faudra donc que la promesse soit bien au rendez-vous.

En attendant, vous pouvez toujours jouer avec Aria dans la version standard d'Opera :