Des chercheurs de Google inventent un dome de LED pour capturer parfaitement un humain en 3D

Le système volumétrique associé à de l'intelligence artificielle permet aux équipes de Google de modéliser rapidement un être humain et d'appliquer un éclairage réaliste grâce aux informations récupérées par les différents capteurs.

Le projet « The Relightables » pourrait révolutionner le milieu du jeu vidéo et du cinéma de divertissement. Les ingénieurs de Google ont conçu un système de modélisation 3D qui permet de recréer et d'intégrer un être humain dans un environnement virtuel plus facilement à l'aide d'outils d'intelligence artificielle.

Un ensemble de 90 caméras enregistre le sujet sous toutes les conditions de lumière possibles

Le sujet doit tout d'abord être filmé sous tous les angles dans un dôme composé de 331 lumières, chacune intégrant 63 diodes LED. La luminosité et la couleur va varier durant la prise de vue réalisée par 90 caméras 60 Hz de 12,4 mégapixels. Dans le détail, 58 d'entre elles sont des caméras RGB et 32 des modèles infrarouges, capturant 65 Go de données à la seconde.

L'intelligence artificielle développée par Google va ensuite utiliser les 90 flux vidéo capturés pour créer un modèle très détaillé qui pourra être intégré directement dans une scène en 3D.

La nouveauté est que la lumière pourra être directement générée dans l'univers virtuel alors que les précédentes technologies ne pouvaient utiliser que la lumière capturée dans le volume de captation.

Le système restitue avec précision la façon dont les vêtements, les cheveux ou la peau réagissent à n'importe quelle ambiance lumineuse et la manière dont les ombres se comportent sur un individu en mouvement.

Une technologie de pointe qui pourrait accélérer le travail des infographistes

Cela pourrait permettre aux équipes en charge d'effets spéciaux numériques de modéliser un comédien sans se poser la question de l'éclairage sur le plateau. L'avatar virtuel pourra réagir à tout changement de lumière souhaité par le chef opérateur et ne restera plus qu'à appliquer les textures et le rendu photo-réaliste. Le principe est le même pour le jeu vidéo, où le personnage numérisé réagira en temps réel à la luminosité ambiante.

Si les résultats sont très prometteurs, reste aux ingénieurs à améliorer leur technologie pour offrir un volume de captation plus important qui permet de capturer des scènes en mouvement sur la durée avec plusieurs comédiens.


« The Relightables » sera prochainement présenté par Google au SIGGRAPH Asia, un séminaire dédié à l'infographie et aux technologies d'image de synthèse.

Source : TechCrunch