Oculus lance le Hand Tracking sur l'Oculus Quest

En septembre dernier, lors de l'Oculus Connect 6, la fonctionnalité de détection des mains sans contrôleur avait été annoncée pour début 2020 et il semble que la société ait un peu d'avance puisque Facebook annonce que les propriétaires d'Oculus Quest n'ont plus besoin de contrôleurs pour faire fonctionner le casque VR autonome sur les applications multimédias.

En effet, une première version du Hand Tracking arrive dans les tous prochains jours sur l'Oculus Quest, et un kit de développement logiciel (SDK) sera accessible très prochainement pour les créateurs de contenus. 

Thumbs Up: Hand Tracking Now Available on #OculusQuest 👍👋 // https://t.co/SToovBIN2W pic.twitter.com/mWK2QKiH81
— Oculus (@oculus) 9 décembre 2019


Avec cette nouvelle fonctionnalité, il est possible de naviguer dans l'interface Quest Home, la librairie, la boutique l'Oculus Browser ou encore l'Oculus TV (pour le contenu 2D et les vidéos 360). Pour activer le hand tracking, les utilisateurs du casque doivent se rendre dans le menu dédié aux fonctions expérimentales et sélectionner l'option.
 

Le Hand Tracking utilise les caméras embarquées pour identifier les mouvements de vos doigts et de vos mains sans contrôleurs. 

Il s'agit d'une mise à jour du firmware, aucun nouveau matériel n'est requis. Pour la première fois, les propriétaires de Quest pourront démontrer certaines fonctionnalités de base du casque autonome sans les contrôleurs Oculus Touch, et l'utiliser en tant que visionneuse multimédia immersive ou cinéma portable sans prendre ou amener les contrôleurs tactiles.
 

Cette semaine, seulement quelques applications système prendront en charge le Hand Tracking. Il faudra patienter pour que les autres jeux ou expériences prennent en charge cette fonctionnalité. 
Facebook proposera une expérience d'introduction pour montrer la fonctionnalité aux médias d'Oculus Connect 6 nommée Elixir prochainement. 
Oculus Avatars devrait prendre en charge le suivi des doigts en 2020, ce qui permettra aux développeurs d'ajouter des mains.
 

Facebook s'attend à ce que les premières applications tierces commencent à prendre en charge la fonctionnalité en 2020. Il est probable que seuls certains jeux ajouteront la prise en charge du suivi des mains. De nombreux jeux nécessitent des boutons, des sticks analogiques, des déclencheurs ou un retour haptique.
En outre, la qualité du suivi ne serait probablement pas adaptée aux interactions avancées à deux mains.
 

Fin 2014, Facebook avait montré pour la première fois son intérêt pour le suivi des doigts pour la RV. C'est pourquoi la société avait acquis la startup Nimble VR, composée de quatre vétérans de la technologie de suivi des mains. Mais lors de cette acquisition, Oculus était clair que cette technologie «ne peut même pas être utilisée dans les CV2 ou CV3».  

Probablement parce que la technologie de Nimble n'était pas seulement un logiciel, mais un capteur de profondeur dédié.
Les capteurs de profondeur offrent un excellent suivi des doigts comme celui du nouveau casque HoloLens 2. Mais ces capteurs dédiés peuvent ajouter du coût et du poids aux casques lorsque la réduction des deux est la clé d'une adoption plus large de la technologie.

Fournir un suivi des doigts de haute qualité sur des caméras régulières, comme c'est le cas sur Quest, est un niveau de défi différent. Sa mise en œuvre sur Quest en utilisant le même matériel utilisé pour d'autres types de suivi est probablement un avantage concurrentiel pour Facebook et quelque chose susceptible d'être adopté plus largement dans les futurs produits de la société.

En 2016 à l'Oculus Connect 3, le scientifique en chef Michael Abrash a fait une série de prédictions sur la RV pour 2021. Il a noté que le suivi des doigts pouvait être fait parfait avec des marqueurs sur les gants (et l'a montré), mais pas encore directement. Cependant, il a prédit que d'ici 2021, cela serait possible.

Avec le déploiement de cette fonctionnalité, Facebook aura largement dépassé la prédiction d'Abash d'un an. En 2018, lors de la conférence annuelle F8 de Facebook, la société a montré un suivi des doigts sans gant et sans marqueur de haute qualité.

Un représentant d'Oculus a expliqué sur scène que cette «percée» avait été rendue possible par le lourd investissement de Facebook dans la recherche sur l'apprentissage automatique («AI»).
Ils utilisent le type de système de gants décrit par Abrash en 2016 pour former un réseau neuronal convolutionnel à reconnaître les poses des mains. C'est probablement ainsi que la fonctionnalité a été rendue possible.
 

À moins que Facebook n'ait apporté des améliorations spectaculaires au cours des trois derniers mois, vous n'aurez pas la même robustesse de suivi que vous obtenez avec les contrôleurs Touch.
Les contrôleurs contiennent un accéléromètre et une constellation de LED infrarouges conçues spécifiquement pour le suivi dans une gamme de conditions. Mais le suivi des doigts et des mains devrait toujours être assez bon pour la VR sociale, la consommation de médias et certains jeux très décontractés conçus spécifiquement en tenant compte des limites de la fonctionnalité.
Facebook prévoit «d'ajouter de nouvelles fonctionnalités et fonctionnalités pour améliorer l'expérience du suivi manuel sur Quest en 2020». Comme l'entreprise l'a fait avec le suivi du contrôleur tactile, Facebook améliorera probablement la qualité et la robustesse du suivi des doigts au fil du temps.
 

À l'Oculus Connect 6, le directeur technique Robert Wang a expliqué que cette itération actuelle «ne faisait qu'effleurer ce que nous pouvons faire avec le suivi manuel». Bien qu'il ait pris soin de ne pas donner de feuille de route, il a déclaré que Facebook «aimerait pouvoir» suivre de manière fiable les interactions à deux mains avec des caméras régulières.