Bruxelles et IBM : la recherche multimédia avec Sapir

Fondé par la Commission Européenne, le moteur de recherche multimédia, Sapir (Search in Audio-Visual Content Using Peer-to-peer Information Retrieval) a été créé par des chercheurs du groupe IBM. Les moteurs de recherche traditionnels tels que Google, Bing ou Yahoo! analysent les métadonnées associées au contenu pour les transformer en mots-clés pour les utilisateurs. De son côté Sapir souhaite retourner du contenu non répertorié par les autres acteurs grâce à un système de reconnaissance multimédia.

En effet, ce jeudi, lors d'une démonstration, Yosi Mass, un scientifique du groupe IBM Research-Halfa, expliquait que Sapir indexe le contenu de chacune des images et des fichiers audio et vidéo en y ajoutant des éléments descriptifs comme le texte, la couleur, les formes ou les sons. Cela permet aux utilisateurs de trouver du contenu similaire. A partir d'un cliché donné l'utilisateur peut donc obtenir d'autres images prises sous un angle identique ou présentant une structure et des couleurs semblables.

Théoriquement, la recherche d'un terme tel que « rose » devrait retourner plusieurs images de fleurs mises en ligne par les utilisateurs de Flickr. En cliquant sur le lien intitulé « similar  », l'internaute devrait obtenir des images affichant une texture, des formes ou une couleur similaire. En pratique, le champs de recherche ne semble pas être encore opérationnel et seule la technologie de reconnaissance peut être testée. Notons également l'option « combo » permettant de coupler une image donnée à un mot-clé pour raffiner la recherche. Enfin Sapir intègre aussi l'interface de programmation de Google Maps pour obtenir des médias geo-localisés.

Voici ci-dessous une vidéo de démonstration :