L'impressionnante technologie de captation vidéo holographique de Microsoft Hololens

Dans une vidéo publiée sur Youtube aujourd'hui, nous pouvons découvrir la technologie qui se cache derrière les enregistrements vidéos "holographiques" de Microsoft destinés à ses lunettes de réalité augmentée : les HoloLens.
 

La voix off nous explique que les enregistrements vidéos sont réalisés dans un studio doté de 106 caméras RGB et infrarouges synchronisées autour d'un plateau sur fond vert.
 

Comment cela fonctionne-t-il ?

Tout d'abord, le fond vert est supprimé puis les données sont traitées.

La première étape consiste à créer un nuage de points 3D avec les cartes de profondeurs stéréoscopiques (Stereo Depth Map) grâce aux paires de caméras RGB et infrarouges. 
Les points de ces cartes de profondeurs sont fusionnés, d'abord unitairement puis globalement, en utilisant un algorithme multi-vues stéréoscopiques. 
Il en resulte un modèle avec 2,7 millions de points avec normales par image.

La phase suivante crée un maillage pour chaque image.

 

Ces maillages présentent des artefacts topologiques qui sont corrigés avec un algorithme de réduction du bruit. 

Le résultat compte plus d'un million de triangles par image :
 

Il faut ensuite déterminer quelles parties contiennent les détails perceptibles les plus importants comme les mains ou les visages. Le maillage est alors réduit à sa cible (env. 20 000 triangles par image pour l'exemple) tout en préservant ces zones détaillées. Une cohérence temporelle est alors établie grâce à des images clés sélectionnées sur le maillage. Cette cohérence est essentielle pour la compression des mouvements du maillage et pour les textures.

La dernière étape consiste à déplier les maillages obtenus pour les texturer puis encoder et compresser toutes les données pour  finalement parvenir à un fichier diffusable à un débit cible (12 Mbps pour l'exemple).
 

Bien que quelques artefacts subsistent, le résultat est remarquable et on imagine assez bien toute l'utilité de cette technologie pour des lunettes de réalité augmentée telles que les Hololens ou les Magic Leap.

A l'avenir, les contenus holographiques éducatifs ou cinématographiques dans ce format pourraient être impressionnants. Sans parler des applications possibles dans les contenus pour adultes (on laisse ça à xRealities ;-) )