Google Lookout : l'IA lit désormais les étiquettes aux personnes malvoyantes

Benoît Théry
Publié le 13 août 2020 à 14h17
© Google
© Google

Google met régulièrement à jour ses applications et son matériel destiné aux personnes aveugles ou malvoyantes. Une mise à jour de son application fondée sur l'intelligence artificielle, Lookout, amène désormais la possibilité de reconnaître de la nourriture et de la citer à haute voix.

Une organisation caritative britannique pour la cécité a salué cette décision, affirmant qu'elle contribuera à renforcer l'indépendance des personnes en situation de handicap.

Quelques difficultés sur certains produits

Selon Google, l'application est capable, désormais, de « faire la distinction entre une boîte de maïs et une boîte de haricots verts. » La fonctionnalité évoque ainsi les applications de suivi alimentaire, des logiciels permettant d'en apprendre plus sur un aliment en recherchant son code-barres dans une base de données.

Ici, il y a bien une base de données, mais pas de code-barres. Lookout favorise la reconnaissance d'objets et se fie à l'apparence et à l'étiquette du produit pour ensuite le retrouver dans une base de données de deux millions de « produits populaires ».

L'utilisation est simplissime : l'utilisateur pointe l'appareil photo de son smartphone vers le produit, Lookout l'identifie et prononce à voix haute le nom de la marque et la quantité du produit (en litres, en grammes, etc.). Sur le blog de Google AI, le géant américain ajoute que sa base de données peut s'adapter selon le magasin et l'endroit où l'utilisateur se trouve, changeant alors de catalogue.

La BBC, qui a testé l'application, rapporte ainsi que celle-ci « n'a eu aucune difficulté à reconnaître une célèbre marque de sauce piquante américaine ou un autre produit similaire venant de Thaïlande. » En revanche, Lookout s'en est moins bien sorti avec les produits aux formes irrégulières, comme les pommes de terre ou les sacs de farine.

Une fonctionnalité conjointement intégrée à la lecture de documents

Au Royaume-Uni, le Royal National Institute of Blind People (RNIB) salue la mise à jour de l'application, tout en restant prudent quant à son efficacité. L'organisation rappelle que de nombreuses étiquettes sont d'abord conçues pour être accrocheuses, et non pour être faciles à lire. Robin Spinks, membre de l'institut, déclare qu'« idéalement, nous aimerions que l'accessibilité soit intégrée au processus de conception des étiquettes afin qu'elles soient plus faciles à identifier pour les personnes malvoyantes. »

Depuis son lancement l'année dernière, l'application s'est considérablement enrichie. Parallèlement à l'identification de produits alimentaires, Lookout vient également de se doter d'une fonctionnalité relative à la numérisation de documents, ceux-ci pouvant ensuite être lus à voix haute par le smartphone.

Source : BBC, The Verge

Benoît Théry
Par Benoît Théry

Je veux tout savoir, et même le reste. Je me passionne pour le digital painting, la 3D, la plongée, l'artisanat, les fêtes médiévales... Du coup, j'ai toujours des apprentissages sur le feu. Actuellement, j'apprends à sourire sur mes photos de profil.

Vous êtes un utilisateur de Google Actualités ou de WhatsApp ?
Suivez-nous pour ne rien rater de l'actu tech !

A découvrir en vidéo

Commentaires (0)
Rejoignez la communauté Clubic
Rejoignez la communauté des passionnés de nouvelles technologies. Venez partager votre passion et débattre de l’actualité avec nos membres qui s’entraident et partagent leur expertise quotidiennement.
Commentaires (8)
crush56

Vraiment top

Popoulo

Tout simplement génial.

kgp

Vraiment sympa pour mon père qui a un DMLA!

cyrano66

C’est vrai que c’est un progrès et pas que pour les non voyants tellement les caractères sont de plus en plus petits et difficile à lire (surtout quand on prend de l’âge).

je rejoins l’avis de la RNIB. Une conception un peu moins tapageuse et plus informationnelle des emballages serait pas mal.
Et Le mal-voyant a priori ne sait pas si la face du produit qu’il vise avec son smartphone sera la plus pertinente.
Alors pourquoi pas, l’obligation de coller un Petit Qcode Sur chaque face, que l’IA finira forcément par trouver même avec un Scan à « l’aveugle ».

Sinon pas mal.

c_planet

comment ces personnes arriveraient à lire en général ce qu’il se passe sur smartphone ? Déjà, je vois les options de cette appli (food label, quick read, scan document,…) écrit 5 fois plus petit que le mot mustard sur la boite, lol.

Winpoks

J’ai essayé, mon chat est un yaourt.

Sinon ça lit relativement bien.

gacimor

belle prouesse.
Mais comment la personne, aveugle peut-elle, trouver son smartphone, le lancer, taper son code confidentiel, trouver et lancer l’app google, pointer la caméra devant l’objet à reconnaître ?

Zefraou

Super avec l’application Voice Over de l’iPhone qui change la vie des aveugles