Live Japon : des techniques "human-centric"

Journée portes-ouvertes pour la presse cette semaine dans le principal centre de recherche du groupe de matériels et services informatiques nippon Fujitsu, à Kawasaki, en banlieue de Tokyo. Le patron des lieux l'affirme d'emblée, quand Fujitsu développe des technologies futuristes qui rappellent des films-cultes de science-fiction, c'est toujours avec l'humain à l'esprit, ce qui se concrétise par des concepts techniques qui s'adaptent aux gestes de l'individu et non l'inverse. On appelle cela « human-centric ».


« Il existe encore bien des situations où les objets analogiques (papier, stylo, tableau blanc, etc.) restent les moyens les plus pratiques pour prendre des notes, échanger des idées en réunion, ou enseigner », explique un ingénieur de Fujitsu. Pour autant, on aimerait que ces informations puissent ensuite être facilement conservées, triées, transmises, ce qui requiert une transformation en données numériques. Hélas, l'opération est fastidieuse s'il faut tout ressaisir dans un ordinateur ou tout numériser de façon conventionnelle (en passant tout au scanner).

Face à ces difficultés, les chercheurs de Fujitsu ont créé un appareil compact (encore un prototype) qui intègre deux caméras et un mini-projecteur afin de « scanner » les documents posés sur une table en filmant et numérisant ce qui est sélectionné par le doigt de l'utilisateur selon un geste similaire à celui que l'on ferait avec une souris ou sur un écran tactile. Le système peut aussi scanner automatiquement différents « post-it » posés sur une table ou encore des cartes de visite.


Ensuite, tout ces éléments numériques sont projetés sur la table en lieu et place de leurs ancêtres analogiques et peuvent être manipulés par le doigt dont les mouvements sont détectés par les caméras. Il est ainsi possible par exemple de créer un lien informatique entre deux documents, d'effectuer des tris sélectifs, le tout étant enregistré dans un ordinateur relié à l'appareil. Les applications pratiques sont multiples, dans les entreprises (pour effectuer par exemple une revue de presse) ou les lieux publics et administrations (scanner les documents apportés par un citoyens).


Dans les commerces aussi, ce type d'appareil trouverait son utilité. En scannant par exemple les noms de lieux sur un prospectus de voyage, ils appellent des images (y compris des vidéos) dans une base de données, lesquelles viennent s'afficher sur la table et même se placer aux bons endroits si l'on y pose aussi une carte géographique. Pour le moment, textes et photos ou autres zones scannées sont vus de la même façon (un fichier image), sauf à passer les premiers par un logiciel de reconnaissance de caratères (OCR) qui les transformera en fichiers textes dans le corps desquels il sera alors possible d'intervenir.


La particularité de ce dispositif est non seulement de pouvoir scanner (en réalité filmer) une zone déterminée par la trajectoire rectiligne du doigt, mais aussi de repérer très précisément dans l'espace tridimensionnel le doigt et la main, ainsi que la position dans laquelle ils se trouvent. Ainsi, cette faculté permet-elle aussi d'autres applications, comme la manipulation d'objets en trois dimensions (3D) enregistrés dans l'ordinateur et projetés sur la table. La main à plat signifie « repos », le point fermé veut dire « prêt à bouger », des rotations autour d'un axe vertical sur un même plan horizontal font tourner l'objet 3D, un déplacement vertical fait varier la taille de l'objet. Bref, c'est intuitif et c'est exactement cela le but recherché: que les commandes informatiques ne nécessitent pas un apprentissage de gestes particuliers mais que les mouvements naturels des mains, des doigts, de la tête ou encore des yeux puissent être interprétés comme des instructions.


Fujitsu espère transformer son prototype, encore un peu encombrant, en produit du commerce d'ici au printemps 2015.

Dans un registre assez voisin, Fujitsu a conçu une technique qui résout un problème auquel sont confrontées de nombreuses personnes lorsqu'elles assistent à des présentations ou lorsqu'elles veulent photographier un écran ou une affiche. Il s'agit d'une application qui appelle dans une base de données le fichier d'origine d'une image photographiée avec un smartphone ou une tablette en repérant à l'intérieur du visuel un code invisible à l'oeil nu mais indiquant l'adresse où se trouve le fichier à récupérer.

Cette technologie est aussi un moyen simple de transférer un fichier de son PC à son smartphone puisqu'il suffit d'en photographier une partie du contenu affiché à l'écran pour commander le téléchargement dans le téléphone. Bien sûr, cette opération n'est possible que si le téléphone possède l'autorisation d'accès à l'espace où le fichier en question est enregistré.

La même technique peut aussi bien entendu servir à distribuer des prospectus ou des coupons numériques à qui photographierait avec son smartphone ou sa tablette à la TV ou sur une affiche une publicité pour un produit ou un service l'intéressant. Contrairement au QR Code que l'oeil voit sans le comprendre, la technique de Fujitsu permet d'utiliser des images sensées pour l'homme sans rendre perceptible les données informatiques sous-jacentes.


Fujitsu a par ailleurs développé une technologie pour détecter la présence d'humains ou suivre leurs mouvements, de jour comme de nuit, grâce à un capteur laser qui, sans filmer précisément, distingue les silhouettes. Une des applications possibles, et sans doute la première que proposera Fujitsu, est l'aide à la conduite nocturne en donnant au conducteur une information sur les êtres ou objets les plus proches de la voiture, puisque ce dispositif est capable de mesurer les distances et de signaler par un clignotement lorsque le danger approche. D'où son intérêt comparé à une caméra infra-rouge.

Fujitsu imagine aussi un système de ce type dans les hôpitaux pour permettre au personnel de service d'être alerté quand un malade se déplace, sans pour autant que son intimité soit violée puisque n'apparaît sur l'image captée que la forme corporelle en mouvement (et non les traits de la personne).

Dernier thème de recherche présenté: suivre facilement la condition physique des personnes et conserver ces éléments. Fujitsu nous avait déjà montré il y a quelques semaines une application pour smartphone qui analyse l'état de la peau et son évolution à partir de simples photos. Cette fois, c'est un logiciel associé à un capteur qui, à l'instar de ce que décrit J.P. Nishi, est capable de repérer la présence d'hémoglobine sous la peau, et donc de distinguer un humain d'un robot androïde ou d'un poisson des glaces (dont le sang est transparent).


Cette application sert à prendre le pouls d'une personne en suivant son visage avec une caméra intégrée par exemple dans un ordinateur, une tablette ou un téléphone portable. Associé à un logiciel d'analyse, ce capteur d'image repère les variations minimes de brillance qui se produisent sur la face du fait du flux sanguin sous la peau, directement guidé par les mouvements cardiaques.

En réalité, le signal lumineux capté varie car l'hémoglobine a pour propriété d'absorber la lumière verte du spectre visible. Les variations de brillance causées par les mouvements de la tête et du visage ou bien les fluctuations de la lumière ambiante sont quant à elles automatiquement éliminées (considérées comme du bruit) pour fournir une estimation précise du rythme des pulsations cardiaques.


« Il suffit de rester 5 secondes face à la caméra », explique un responsable de ces travaux, précisant que « le groupe espère proposer cette solution commercialement d'ici à moins d'un an », sans doute d'abord pour ordinateur, avant de l'intégrer dans un smartphone. Parmi les utilisations possibles, Fujitsu pense à celles relevant de la sécurité, par exemple pour repérer un individu particulièrement stressé et dont le coeur s'emballe. On n'est vraiment pas très loin de Blade Runner.