Microsoft Research s'appuie sur Kinect pour traduire la langue des signes

Les ingénieurs de Microsoft ont décidé de s'appuyer sur le module Kinect afin de faciliter les communications pour les personnes handicapées atteintes d'une forme de mutisme ou de surdité.

Si Kinect vous évoque instantanément des jeux de type Just Dance ou Zumba Fitness, alors les choses pourraient peut-être changer à l'avenir. En effet, des chercheurs de Microsoft comptent bien tirer parti du périphérique afin de simplifier la vie des personnes handicapés et notamment en associant la technologie à la langue des signes.

015E000006806836-photo-kinect.jpg


Il existe à travers le monde plusieurs dizaines de langues des signes. En France, en ne prenant en compte que les gestuelles des mains, on estime entre 45 et 60 signes permettant d'interpréter des mots. En partenariat avec professeur Xilin Chen, de l'académie des sciences en Chine, Microsoft Research a conçu un traducteur directement implémenté au sein de Kinect.

Guobin Wu, directeur de Microsoft Research Asie, explique que pendant les 6 premiers mois de ce projet, les efforts ont été portés sur les langues des signes en Chine avec l'aide du professeur Hanjing Li de l'université de Pékin ainsi qu'un groupe d'étudiants. Puis les chercheurs ont entrepris de traduire ces signes pour les interpréter et les transposer d'une langue à l'autre. Un malentendant chinois est donc en mesure de communiquer avec un américain directement via Kinect.

015E000006806838-photo-kinect.jpg


Une fois les signes analysés par le capteur Kinect, Microsoft Research s'appuie sur la technologie de Bing pour les interpréter et les traduire. Cette traduction peut se présenter sous la forme d'un message texte couplé à une synthèse vocale compréhensible dans la langue du destinataire. Si ce dernier est également affecté d'un handicap, la traduction peut être directement interprétée sous forme de signes grâce à un avatar virtuel.

Outre les communications basiques, Microsoft explique que ce dispositif pourrait par exemple trouver sa place dans les cabinets médicaux afin de permettre aux médecins de mieux comprendre leurs patients handicapés. Idéalement, le mécanisme pourrait d'ailleurs leur ouvrir de nouvelles opportunités d'emplois nécessitant des interactions constantes avec le public (réception, information...).

Pour davantage d'informations, retrouvez une vidéo en anglais sur cette page.
Modifié le 01/06/2018 à 15h36
Soyez toujours courtois dans vos commentaires.
Respectez le réglement de la communauté.
0
0

Actualités du moment

DacMagic XS : un DAC miniature pour tirer pleinement profit de son casque
Alcatel-Lucent progresse grâce aux contrats sur le LTE
App Studio bêta : 65000 nouvelles applications pour Windows Phone
Digicopy : la Fnac propose une copie numérique de ses CD et vinyles
AeroTwist : une enceinte Bluetooth en forme de donut chez Jarre Technologies
L'iPhone 5s aussi est concerné par un problème d'autonomie
Facebook réalise désormais la moitié de ses recettes sur mobile
244 millions de smartphones vendus au 3e trimestre
Ashton Kutcher devient
Microsoft-Nokia : Bruxelles rendra sa décision en décembre
Haut de page