Google Lookout : l'IA lit désormais les étiquettes aux personnes malvoyantes

13 août 2020 à 14h17
8
Google Lookout © Google
© Google

Google met régulièrement à jour ses applications et son matériel destiné aux personnes aveugles ou malvoyantes. Une mise à jour de son application fondée sur l'intelligence artificielle, Lookout, amène désormais la possibilité de reconnaître de la nourriture et de la citer à haute voix.

Une organisation caritative britannique pour la cécité a salué cette décision, affirmant qu'elle contribuera à renforcer l'indépendance des personnes en situation de handicap.

Quelques difficultés sur certains produits

Selon Google, l'application est capable, désormais, de « faire la distinction entre une boîte de maïs et une boîte de haricots verts. » La fonctionnalité évoque ainsi les applications de suivi alimentaire, des logiciels permettant d'en apprendre plus sur un aliment en recherchant son code-barres dans une base de données.

Ici, il y a bien une base de données, mais pas de code-barres. Lookout favorise la reconnaissance d'objets et se fie à l'apparence et à l'étiquette du produit pour ensuite le retrouver dans une base de données de deux millions de « produits populaires ».

L'utilisation est simplissime : l'utilisateur pointe l'appareil photo de son smartphone vers le produit, Lookout l'identifie et prononce à voix haute le nom de la marque et la quantité du produit (en litres, en grammes, etc.). Sur le blog de Google AI, le géant américain ajoute que sa base de données peut s'adapter selon le magasin et l'endroit où l'utilisateur se trouve, changeant alors de catalogue.

La BBC, qui a testé l'application, rapporte ainsi que celle-ci « n'a eu aucune difficulté à reconnaître une célèbre marque de sauce piquante américaine ou un autre produit similaire venant de Thaïlande. » En revanche, Lookout s'en est moins bien sorti avec les produits aux formes irrégulières, comme les pommes de terre ou les sacs de farine.

Une fonctionnalité conjointement intégrée à la lecture de documents

Au Royaume-Uni, le Royal National Institute of Blind People (RNIB) salue la mise à jour de l'application, tout en restant prudent quant à son efficacité. L'organisation rappelle que de nombreuses étiquettes sont d'abord conçues pour être accrocheuses, et non pour être faciles à lire. Robin Spinks, membre de l'institut, déclare qu'« idéalement, nous aimerions que l'accessibilité soit intégrée au processus de conception des étiquettes afin qu'elles soient plus faciles à identifier pour les personnes malvoyantes. »

Depuis son lancement l'année dernière, l'application s'est considérablement enrichie. Parallèlement à l'identification de produits alimentaires, Lookout vient également de se doter d'une fonctionnalité relative à la numérisation de documents, ceux-ci pouvant ensuite être lus à voix haute par le smartphone.

Source : BBC , The Verge

Soyez toujours courtois dans vos commentaires.
Respectez le réglement de la communauté.
8
9
crush56
Vraiment top
Popoulo
Tout simplement génial.
kgp
Vraiment sympa pour mon père qui a un DMLA!
cyrano66
C’est vrai que c’est un progrès et pas que pour les non voyants tellement les caractères sont de plus en plus petits et difficile à lire (surtout quand on prend de l’âge).<br /> je rejoins l’avis de la RNIB. Une conception un peu moins tapageuse et plus informationnelle des emballages serait pas mal.<br /> Et Le mal-voyant a priori ne sait pas si la face du produit qu’il vise avec son smartphone sera la plus pertinente.<br /> Alors pourquoi pas, l’obligation de coller un Petit Qcode Sur chaque face, que l’IA finira forcément par trouver même avec un Scan à « l’aveugle ».<br /> Sinon pas mal.
c_planet
comment ces personnes arriveraient à lire en général ce qu’il se passe sur smartphone ? Déjà, je vois les options de cette appli (food label, quick read, scan document,…) écrit 5 fois plus petit que le mot mustard sur la boite, lol.
Winpoks
J’ai essayé, mon chat est un yaourt.<br /> Sinon ça lit relativement bien.
gacimor
belle prouesse.<br /> Mais comment la personne, aveugle peut-elle, trouver son smartphone, le lancer, taper son code confidentiel, trouver et lancer l’app google, pointer la caméra devant l’objet à reconnaître ?
Zefraou
Super avec l’application Voice Over de l’iPhone qui change la vie des aveugles
Voir tous les messages sur le forum

Actualités du moment

Des chercheurs créent une IA capable de s'occuper du sound design d'un film
4A Games (Metro) et 7 autres studios ont été rachetés par Embracer Group
La Russie affirme développer un outil pour traquer les transactions en crypto-monnaies
Xbox Series X : la console arrivera également en novembre au Japon
Nvidia : la RTX 3080 déclinée en trois modèles se confirme et arriverait dès septembre
Halo Infinite : Xbox a failli sortir le jeu en plusieurs parties
iPhone 12 : une édition limitée spéciale SpaceX en préparation par Caviar
À la suite de ses déboires, Airbnb envisage d'entrer en Bourse
Un pack HP PC Pavilion Gaming 17,3
Bon plan Switch : Super Mario Maker 2 (édition limitée) à prix cassé
Haut de page