GPT-4, tout juste dévoilé, offre de réelles possibilités en matière d'accessibilité, qui pourraient faciliter la vie des personnes malvoyantes.
OpenAI vient de dévoiler son tout nouveau modèle d'intelligence artificielle multimodale, GPT-4. L'IA a fait des progrès impressionnants grâce à sa nouvelle propriété phare, la vision, qui lui permet de comprendre le texte, mais aussi les images. Celle-ci est d'ailleurs exploitée par la start-up Be My Eyes, qui souhaite rendre plus accessible aux personnes malvoyantes ou aveugles le monde qui les entoure grâce à la technologie.
GPT-4, au service de l'accessibilité pour les malvoyants
Si les capacités de GPT-4 sont pour le moment limitées, et ce, même sur ChatGPT Plus (la version payante du chatbot ne propose pas le traitement des images pour le moment et se limite à 100 requêtes par tranche de 4 heures), Be My Eyes est le premier partenaire d'OpenAI à pouvoir profiter des nouvelles capacités de l'IA.
L'application mobile danoise se sert désormais de GPT-4 pour aider les malvoyants et les aveugles à visualiser le contenu d'une image. L'éditeur, né en 2015, est connu pour avoir fédéré une communauté de 6,3 millions de bénévoles qui aident les utilisateurs de l'appli à accomplir leurs tâches quotidiennes, comme se repérer dans un aéroport ou identifier un produit.
Be My Eyes vient de concevoir un nouvel outil, Virtual Volunteer, qui est en phase bêta et vise à améliorer la convivialité, l'accessibilité et l'accès à l'information pour ses utilisateurs du monde entier. Il peut générer le même niveau de contexte et de compréhension qu'un volontaire humain. Le tout, donc, alimenté par le modèle GPT-4 d'OpenAI.
Laquelle de ces deux chemises est rouge ?
En ce qui concerne le fonctionnement de cet outil, prenons le cas d'un utilisateur qui envoie une image par l'application à un bénévole qui serait alors virtuel et alimenté par l'intelligence artificielle. L'IA répondra à toute question qui lui sera posée en rapport avec l'image pour fournir au malvoyant une assistance visuelle instantanée.
Be My Eyes prend deux exemples simples du quotidien. Admettons que l'utilisateur envoie une photo de l'intérieur de son réfrigérateur et qu'il veuille en faire une sorte d'état des lieux pour pouvoir faire ou commander ses courses, l'IA lui indiquera ce qu'il contient. Il est même possible de pousser ses capacités jusqu'à lui demander une ou plusieurs recettes qui pourraient coller avec les ingrédients encore stockés dans le frigo. L'IA fournit alors une liste de recettes, avec toutes les étapes à franchir pour aller au bout.
Il sera aussi possible de demander à l'application laquelle de ces chemises est rouge, par exemple. Imaginez les possibilités. Ajoutons aussi qu'en passant par Be My Eyes, l'utilisateur aura qui plus est une solution de secours. S'il n'obtient pas de réponse de l'IA ou qu'elle ne lui apporte pas satisfaction, il pourra toujours réclamer la mise en relation avec un bénévole humain.
La start-up promet de mettre sa nouvelle fonctionnalité, gratuite, entre les mains des utilisateurs d'ici « quelques mois ». Elle reste pour le moment en version bêta chez ses entreprises clientes. Néanmoins, le groupe de bêta-testeurs sera rapidement élargi dans les prochaines semaines, promet Be My Eyes.
Sources : Be My Eyes, OpenAI
