Permettre aux personnes malvoyantes d'exploiter le potentiel de Google Street View grâce à l'intelligence artificielle (IA) ? C'est une idée venue tout droit de chez Apple, qui pourrait révolutionner les usages des applications de géolocalisation pour les premiers concernés.
- Apple développe SceneScout, une IA qui aide les malvoyants à anticiper leur environnement via des vues immersives.
- L'outil propose deux modes : prévisualisation de trajet et exploration virtuelle, décrivant des repères sensoriels clés.
- SceneScout pourrait s'intégrer dans des appareils Apple futurs, comme des AirPods avec caméras ou des lunettes intelligentes.
Actuellement, les outils d’assistance à la navigation pour les personnes aveugles ou malvoyantes fonctionnent principalement en temps réel, c'est-à-dire une fois sur place. Or, pour beaucoup de personnes atteintes de cécité, le fait de ne pas connaître à l’avance les caractéristiques physiques d’un lieu peut générer une forte appréhension. Et c’est précisément ce que cherche à résoudre SceneScout, un agent IA made in Apple.
Aider les personnes malvoyantes à anticiper leur environnement
La technologie est ainsi capable d’analyser et de décrire avec précision des scènes issues de vues immersives, comme celles d’Apple Plans ou de Street View sur Google Maps. Elle repose sur un grand modèle de langage (LLM) multimodal, en mesure de traiter des images et du texte.
Deux modes sont proposés : Route Preview décrit un trajet à l’avance, en mentionnant des éléments significatifs comme des intersections, des bâtiments reconnaissables, des arbres ou d’autres repères sensoriels, tandis que Virtual Exploration permet à l’utilisateur de se promener virtuellement dans l’environnement, tout en recevant des descriptions en temps réel.
À terme, SceneScout pourrait devenir un outil clé pour les personnes aveugles ou malvoyantes, en les aidant à anticiper l’environnement avant un déplacement, comme le fait de repérer un banc, un feu ou une rampe d’accès. Il serait également pertinent pour identifier des zones à éviter ou difficiles d’accès : 72 % des descriptions générées par l'IA ont été jugées exactes, et 95 % des éléments visuels stables sont bien identifiés par celle-ci, révèle l'étude de la marque à la pomme.
Une technologie introduite dans les appareils d'Apple ?
L’agent IA se base sur les images captées par les caméras de Street View, mais pourrait à terme adopter une perspective piétonne pour une expérience plus réaliste. Et justement, il n'est pas exclu de voir Apple introduire un tel dispositif dans ses appareils connectés, comme ses futurs AirPods dotés de caméras ou des lunettes intelligentes, attendues pour 2027.
Pour l'heure, la technologie a simplement fait l'objet d'une étude, mais cela nous laisse entrevoir les fonctionnalités sur lesquels le géant californien s'attelle, avec l'ambition de mêler hardware et IA.
21 février 2025 à 10h27
Sources : Apple Insider, Apple
