NVIDIA : leurs recherches sur la captation du regard en VR

ça n’est plus à démontrer, l’un des sujets majeurs en matière d’évolution sera le tracking des yeux afin (entre autre) :

• économiser de la ressource : c’est le fameux foveated rendering, à savoir le fait de diminuer le nombre de polygone sur la vision périphérique de l’utilisateur
• améliorer l’expérience utilisateur (UX) : interface, jeux, accessibilité pour les handicapé sont autant de cas d’usage qui seront rendus possible à grande échelle. 

Voilà pour ce qui est visible… Mais il y en a un autre et c’est finalement lui qui pousse le plus : la génération de statistiques marketing. En effet, savoir ce qu’on regarde en premier dans un magasin, quelles informations regardons nous sur des produits alimentaires, quels types de publicités marche le mieux sont autant d’exemple ayant un ROI (retour sur investissement) direct pour la firme leader du graphisme. 
C’est pourquoi il est normal de voir que les recherches avancent et en ce sens NVIDIA a publié une partie de celle-ci et le moins qu’on puisse dire est que cela est prometteur pour la suite. Je vous mets le lien direct pour l’accès au résumé officiel ici

Tout d’abord (et ça sera la seule partie subjective), pourquoi je pense que c’est une vraie évolution alors que Tobii pour ne citer qu’eux ont déjà un appareil opérationnel et même directement installer dans un casque VR : le HTC Vive pro eye ?
Et bien la réponse est toute simple :  la standardisation. Pour que cette feature existe, il faut qu’elle puisse être portée par une entreprise qui centralisera le tout… impossible pour un développeur de s'accommoder avec les dizaines de SDK spécifiques actuels. ça coûte très cher (10 000€ pour l’exploitation du SDK de tobii) et cela demande plusieurs jours de développement pour en intégrer un seul… Et je ne parle même pas du consommateur qui peut se retrouver noyé dans une abondance de modules tous différents dont certain seront compatibles avec leurs jeux favoris et d’autres non …  Bref le seul et unique moyen, selon moi, est donc de l’inclure directement dans les processeurs graphiques et qui mieux que NVIDIA (ou AMD) peuvent le faire au final… 
Maintenant Quid de l’état de ces recherches ? 
NVIDIA se penche sur trois critères principaux : le côté énergivore (pour pouvoir être installé en toute tranquillité sur des appareils autonomes), le côté poid et miniaturisation pour ne pas encombrer plus les casques déjà pas mal lourds et le dernier, mais pas des moindre : la latence et le taux de faux positifs à amoindrir (en gros le nombre d’erreurs). 
 

Fort de ses principes, l’étude a été faite sur deux prototypes dont un minimise au maximum les capteurs avec 3 LEDs comme émetteurs et 6 LED en capteurs et le deuxième possédant 6 LEDs faisant émetteurs et récepteur.
Je ne m’attarderais pas ici sur l’intégralité du rapport (que je vous ai mis plus haut) bien que cela soit extrêmement intéressant pour détailler les conclusions de celui-ci. 

Premièrement, passons aux points “négatifs” :
il réside un léger effet désagréable lors de battements de paupières : c’est purement du logiciel et les algorithmes feront bientôt fit de cette anomalie. Idem pour le fait de fermer un oeil, car c’est bel et bien l’agrégation du calcul des 2 yeux qui permettent d’enlever les faux positifs dont je parlais tout à l’heure. Et pour finir, certaines personnes ont perçus une moins bonne 3D (pour faire simple) ou appréciation des distances sur certaines parties du champ de vision. Pour cette dernière, la solution préconisée sera de calibrer l’appareil au préalable afin de se régler sur les différences morphologiques des uns et des autres (taille de l’oeil, écart interpupillaire, etc)

Du coup la conclusion, qui sans spoil est très encourageante :
La détection du regard est prometteuse et apporte des solutions sur pas mal de problématiques actuelles : le rendu foveal, la prédiction de l’humeur (pour des avatars réalistes), dans la santé (détection de réflexes, détection de fatigue, etc), et aussi dans le cadre d’une expérience VR bien plus naturel. Les prototype montre que l’association LED + GPR (Gaussian Process Regression) + unité de mesure en distance de Minkowski est un succès, bien qu’il s’agisse que d’un “petit” test, NVIDIA encourage avec ce papier tous les chercheurs à aller dans ce sens et espère inspirer un maximum de monde pour faire rentrer cette fonctionnalité dans les standards actuels. 

Voilà vous savez tout sur ce rapport, j’ai essayé de vulgariser à mort donc que les techos ne m’en tiennent pas rigueur (vous trouverez tous les éléments dans le rapport officiel bien sûr) et pour les autres j’espère que le format vous plaira.