Plus de puissance GPU pour l'Oculus Quest ?

L'Oculus Quest est un casque VR tout-en-un, entièrement autonome, c'est à dire sans câbles et sans PC. Son matériel de calcul graphique se trouve donc à l'intérieur de l'appareil lui-même. Mais l'Oculus Quest utilise une puce de smartphone beaucoup moins puissante qu'un PC de jeu, dû à ses contraintes de taille et de puissance, et aussi de vendre l'appareil à un prix abordable. 

D'après Facebook AI Research : "Pour créer des expériences VR et AR de nouvelle génération, il faudra trouver de nouvelles façons plus efficaces de rendre des graphiques de haute qualité et à faible latence"

Les chercheurs de Facebook semblent avoir trouvé un moyen de donner aux applications Oculus Quest 67% de plus de puissance GPU. Cependant, Facebook nous informe qu'il s'agit de "pure recherche" pour le moment.

"C'est uniquement de la recherche qui, nous l'espérons, fera progresser les domaines de l'apprentissage automatique, des graphiques informatiques mobiles et de la réalité virtuelle" a déclaré un représentant de Facebook.

La nouvelle technique fonctionne en effectuant un rendu à une définition plus faible que d'habitude, puis le centre de la vue est mis à l'échelle à l'aide d'un algorithme de « super définition » reposant sur l'apprentissage automatique.
Avec suffisamment de données en entrée, les algorithmes de super définition peuvent produire une sortie beaucoup plus détaillée que la mise à l'échelle traditionnelle.

L'objectif direct des chercheurs était de trouver un «cadre» pour exécuter des algorithmes d'apprentissage automatique en temps réel dans le pipeline de rendu actuel (avec une faible latence), ce qu'ils ont atteint. L'upscaling de super définition n'est essentiellement que le premier exemple de ce que cela permet. Il n'y a pas beaucoup de détails sur la taille exacte de la région mise à l'échelle ou la perceptibilité, à part une mention de "résultats temporellement cohérents et visuellement agréables en VR".

Les chercheurs affirment que lors du rendu à une définition inférieure de 70% dans chaque direction, la technique peut économiser environ 40% du temps GPU, et les développeurs peuvent "utiliser ces ressources pour générer un meilleur contenu".

Pour des applications comme une visionneuse de médias, la puissance du GPU économisée pourrait être utilisée pour augmenter la durée de vie de la batterie, car sur les puces Snapdragon par exemple, le DSP utilisé pour des tâches d'apprentissage automatique comme celui-ci est nettement plus économe en énergie que le GPU.

Cette technique pourrait ajouter de la latence car elle se produit lorsque le rendu est terminé. Mais les GPU mobiles sont différents des GPU PC, et les tâches NPU peuvent s'exécuter de manière asynchrone, de sorte que la mise à niveau peut être effectuée par mosaïque, ajoutant seulement quelques millisecondes de latence pour la mosaïque finale.

A l'aide de Beat Saber, une vidéo de démonstration a été produite, où l'image de gauche "a été générée à l'aide d'un réseau de super-définition rapide appliqué à du contenu 2x basse définition" (l'image de droite est un rendu régulier en pleine définition) :
 

Les chercheurs ont également expliqué comment leurs résultats pourraient être appliqués à de futurs casques avec suivi oculaire :

"Un autre avantage de la reconstruction basée sur l'apprentissage automatique est l'atténuation de la latence et le verrouillage tardif dans le système de rendu fovéal avec suivi des yeux. Avec l'architecture proposée, le système de rendu n'a pas besoin de savoir où l'œil regarde et de rendre à une basse définition uniforme. Après le rendu, la région de la fovéa, déterminée par le système de suivi des yeux, est reconstruite avec des modèles d'apprentissage automatique et se mélange avec les régions périphériques du compositeur. De cette façon, le mouvement des yeux à la latence des photons peut être réduit d'environ une durée de trame, moins une petite partie du temps de reconstruction. Cette économie de latence peut être cruciale pour que certains systèmes de suivi des yeux évitent les artefacts de latence avec saccade. "

Apparemment, l'utilisation de la super définition pour économiser l'énergie du GPU n'est qu'une application potentielle de ce framework de pipeline de rendu :

"Outre l'application de super-définition, le cadre peut également être utilisé pour effectuer la suppression des artefacts de compression pour le contenu en streaming, la prédiction d'images, l'analyse des fonctionnalités et les commentaires pour un rendu fovéal guidé. Nous pensons que l'activation des méthodes de calcul et de l'apprentissage automatique dans le pipeline de graphiques mobiles ouvrira la porte à de nombreuses opportunités vers la prochaine génération de graphiques mobiles."