Comment GPT-4 se fait les yeux de personnes malvoyantes

Alexandre Boero
Chargé de l'actualité de Clubic
15 mars 2023 à 13h00
6
© Be My Eyes
© Be My Eyes

GPT-4, tout juste dévoilé, offre de réelles possibilités en matière d'accessibilité, qui pourraient faciliter la vie des personnes malvoyantes.

OpenAI vient de dévoiler son tout nouveau modèle d'intelligence artificielle multimodale, GPT-4. L'IA a fait des progrès impressionnants grâce à sa nouvelle propriété phare, la vision, qui lui permet de comprendre le texte, mais aussi les images. Celle-ci est d'ailleurs exploitée par la start-up Be My Eyes, qui souhaite rendre plus accessible aux personnes malvoyantes ou aveugles le monde qui les entoure grâce à la technologie.

GPT-4, au service de l'accessibilité pour les malvoyants

Si les capacités de GPT-4 sont pour le moment limitées, et ce, même sur ChatGPT Plus (la version payante du chatbot ne propose pas le traitement des images pour le moment et se limite à 100 requêtes par tranche de 4 heures), Be My Eyes est le premier partenaire d'OpenAI à pouvoir profiter des nouvelles capacités de l'IA.

L'application mobile danoise se sert désormais de GPT-4 pour aider les malvoyants et les aveugles à visualiser le contenu d'une image. L'éditeur, né en 2015, est connu pour avoir fédéré une communauté de 6,3 millions de bénévoles qui aident les utilisateurs de l'appli à accomplir leurs tâches quotidiennes, comme se repérer dans un aéroport ou identifier un produit.

Be My Eyes vient de concevoir un nouvel outil, Virtual Volunteer, qui est en phase bêta et vise à améliorer la convivialité, l'accessibilité et l'accès à l'information pour ses utilisateurs du monde entier. Il peut générer le même niveau de contexte et de compréhension qu'un volontaire humain. Le tout, donc, alimenté par le modèle GPT-4 d'OpenAI.

Laquelle de ces deux chemises est rouge ?

En ce qui concerne le fonctionnement de cet outil, prenons le cas d'un utilisateur qui envoie une image par l'application à un bénévole qui serait alors virtuel et alimenté par l'intelligence artificielle. L'IA répondra à toute question qui lui sera posée en rapport avec l'image pour fournir au malvoyant une assistance visuelle instantanée.

Be My Eyes prend deux exemples simples du quotidien. Admettons que l'utilisateur envoie une photo de l'intérieur de son réfrigérateur et qu'il veuille en faire une sorte d'état des lieux pour pouvoir faire ou commander ses courses, l'IA lui indiquera ce qu'il contient. Il est même possible de pousser ses capacités jusqu'à lui demander une ou plusieurs recettes qui pourraient coller avec les ingrédients encore stockés dans le frigo. L'IA fournit alors une liste de recettes, avec toutes les étapes à franchir pour aller au bout.

Laquelle de ces chemises est rouge ? GPT-4 vous donne la réponse grâce à Be My Eyes © Be My Eyes, capture d'écran par Clubic
Laquelle de ces chemises est rouge ? GPT-4 vous donne la réponse grâce à Be My Eyes © Be My Eyes, capture d'écran par Clubic

Il sera aussi possible de demander à l'application laquelle de ces chemises est rouge, par exemple. Imaginez les possibilités. Ajoutons aussi qu'en passant par Be My Eyes, l'utilisateur aura qui plus est une solution de secours. S'il n'obtient pas de réponse de l'IA ou qu'elle ne lui apporte pas satisfaction, il pourra toujours réclamer la mise en relation avec un bénévole humain.

La start-up promet de mettre sa nouvelle fonctionnalité, gratuite, entre les mains des utilisateurs d'ici « quelques mois ». Elle reste pour le moment en version bêta chez ses entreprises clientes. Néanmoins, le groupe de bêta-testeurs sera rapidement élargi dans les prochaines semaines, promet Be My Eyes.

Sources : Be My Eyes, OpenAI

Vous êtes un utilisateur de Google Actualités ou de WhatsApp ? Suivez-nous pour ne rien rater de l'actu tech !
google-news

A découvrir en vidéo

Haut de page

Sur le même sujet

Rejoignez la communauté Clubic S'inscrire

Rejoignez la communauté des passionnés de nouvelles technologies. Venez partager votre passion et débattre de l’actualité avec nos membres qui s’entraident et partagent leur expertise quotidiennement.

S'inscrire

Commentaires (6)

ABC
Là oui ! Si l’IA donne parfois le pire, elle permet aussi le meilleur.
Kriz4liD
Oh non ! Je vois d’ici les chiens pour malvoyant faire la queue devant pôle emploi <br /> Blague à part , c’est un gros plus pour les personnes à mobilité réduite et pour les malvoyants et malentendants. Moins de contact ou de chaleur humaine certes mais c’est quand même bien je trouve !
Gustour
Va t on enfin savoir si la robe est bleue ou dorée ?
Mayonnez
Perso, je suis malvoyant et si l’idée est très bonne, et très attendue même…<br /> J’attends de voir (heu, c’est une image) ce que cela peut donner, parce que les images ne rendent pas les coups comme on dit, alors vu et lu pour un programme…<br /> Sans parler des gens malintentionnés qui sauraient bluffer l’appli avec des images utilisant bugs et autres, et ainsi abuser de nous.<br /> Exemple, montrer un faux billet que l’appli ne reconnaitrait pas, ou le plier pour faire d’un billet de 10 un de 100, une facture avec un chiffre intentionnellement mal écrit, etc., etc. Pour avoir été (et des amis) abusé, je peux vous dire que la liste des techniques est longue. (handicapé ou pas, tout le monde peut être la cible d’arnaques, ils n’ont aucun scrupules, croyez-moi)
ABC
C’est à prendre comme un outils, qui va s’améliorer. Pas comme la solution miracle.<br /> Pour le reste je partage votre avis, il faut rester vigilant.
KlingonBrain
Sans parler des gens malintentionnés qui sauraient bluffer l’appli avec des images utilisant bugs et autres, et ainsi abuser de nous.<br /> Exemple, montrer un faux billet que l’appli ne reconnaitrait pas, ou le plier pour faire d’un billet de 10 un de 100, une facture avec un chiffre intentionnellement mal écrit, etc., etc. Pour avoir été (et des amis) abusé, je peux vous dire que la liste des techniques est longue. (handicapé ou pas, tout le monde peut être la cible d’arnaques, ils n’ont aucun scrupules, croyez-moi)<br /> Justement, c’est un domaine ou les IA pourraient apporter un gros plus par rapport aux humains.<br /> Les arnaques tirent partie du fait qu’une majorité de gens ne les connaissent pas.<br /> Mais à l’inverse les IA peuvent être entraînées pour ça. Et dès qu’une nouvelle arnaque est repérée, elle sera injectée dans sa base d’apprentissage.
Voir tous les messages sur le forum