Microsoft Research s'appuie sur Kinect pour traduire la langue des signes

Les ingénieurs de Microsoft ont décidé de s'appuyer sur le module Kinect afin de faciliter les communications pour les personnes handicapées atteintes d'une forme de mutisme ou de surdité.

Si Kinect vous évoque instantanément des jeux de type Just Dance ou Zumba Fitness, alors les choses pourraient peut-être changer à l'avenir. En effet, des chercheurs de Microsoft comptent bien tirer parti du périphérique afin de simplifier la vie des personnes handicapés et notamment en associant la technologie à la langue des signes.



Il existe à travers le monde plusieurs dizaines de langues des signes. En France, en ne prenant en compte que les gestuelles des mains, on estime entre 45 et 60 signes permettant d'interpréter des mots. En partenariat avec professeur Xilin Chen, de l'académie des sciences en Chine, Microsoft Research a conçu un traducteur directement implémenté au sein de Kinect.

Guobin Wu, directeur de Microsoft Research Asie, explique que pendant les 6 premiers mois de ce projet, les efforts ont été portés sur les langues des signes en Chine avec l'aide du professeur Hanjing Li de l'université de Pékin ainsi qu'un groupe d'étudiants. Puis les chercheurs ont entrepris de traduire ces signes pour les interpréter et les transposer d'une langue à l'autre. Un malentendant chinois est donc en mesure de communiquer avec un américain directement via Kinect.



Une fois les signes analysés par le capteur Kinect, Microsoft Research s'appuie sur la technologie de Bing pour les interpréter et les traduire. Cette traduction peut se présenter sous la forme d'un message texte couplé à une synthèse vocale compréhensible dans la langue du destinataire. Si ce dernier est également affecté d'un handicap, la traduction peut être directement interprétée sous forme de signes grâce à un avatar virtuel.

Outre les communications basiques, Microsoft explique que ce dispositif pourrait par exemple trouver sa place dans les cabinets médicaux afin de permettre aux médecins de mieux comprendre leurs patients handicapés. Idéalement, le mécanisme pourrait d'ailleurs leur ouvrir de nouvelles opportunités d'emplois nécessitant des interactions constantes avec le public (réception, information...).

Pour davantage d'informations, retrouvez une vidéo en anglais sur cette page.