Owlchemy Lab (Job Simulator) développe un mode spectateur VR/AR sur smartphone

Owlchemy Lab, le studio particulièrement connu des amateurs de réalité virtuelle pour ses jeux Job Simulator et Rick and Morty Simulator: Virtual Rick-ality, investit aussi dans la R&D et nous dévoile un de leur projet plutôt intéressant. Afin de permettre à une personne de visionner en temps réel un joueur dans sa scène en réalité virtuelle, ils ont développé une caméra spectateur déportée sur smartphone en temps réel.
 

Pour ceux qui s'intéressent plus en détail au fonctionnement de cette innovation, je vous propose une traduction de l'article posté sur leur blog officiel :
 

L’application mobile Mobile Spectator utilise ARCore pour suivre la position du téléphone et ses positions dans l’espace physique. Pour calibrer la position du téléphone en réalité virtuelle, il vous suffit de pointer l'appareil photo du téléphone vers le casque, à environ 30cm de distance, puis de taper «Sync». Ce processus synchronise à la fois les positions VR et AR du périphérique mobile dans le même espace de jeu.

Pour permettre cette vue unique à la troisième personne, nous avons essayé une approche différente de celle d'une solution en réseau multijoueur traditionnelle. Le téléphone et le PC communiquent directement via WiFi. Une fois le téléphone calibré, sa position calculée en AR est envoyée au PC, plaçant une caméra supplémentaire dans la scène VR pour représenter le spectateur mobile. Le PC restitue un cadre à partir de cet appareil photo, le code, le renvoie au téléphone, le décode là et… voilà ! Vous avez un flux vidéo en direct sur le téléphone et le PC.

Lors de l’expérience, nous avons identifié deux approches: utiliser le téléphone pour restituer les images de manière native; et utiliser le PC pour restituer des images - cette dernière étant la méthode que nous avons décidé de mettre en œuvre dans cette expérience. Cette méthode ne nécessite presque pas de code réseau, ne nécessite pas l'exécution automatique de l'application sur le téléphone et permet une capture vidéo de haute qualité. Bien entendu, le compromis est que le rendu sur la machine VR hôte nécessite beaucoup de ressources, de limitations de bande passante et peut ne pas être réalisable sur tout le matériel.

Contrairement à la réalité mixte, Mobile Spectator requiert un avatar dans le jeu qui soit visible et intéressant. Heureusement, nous avions déjà un système d'avatar implémenté dans Vacation Simulator. Notre résultat final a donc été immédiatement satisfaisant ! Les résultats sont ridiculement amusants pour les joueurs en réalité virtuelle et pour le Mobile Spectator.

Dans le casque de réalité virtuelle, le téléphone apparaît flottant dans l'espace avec un écran, affichant la vue en direct du téléphone mobile sur le lecteur VR. Semblable aux caméras des versions précédentes du mode Spectateur, cette vue en direct permet au joueur en réalité virtuelle de se cadrer dans une prise de vue, ainsi que de voir où se trouvent ses amis et d’interagir plus directement.

Du côté du mobile, le joueur en réalité virtuelle est représenté par son avatar sur l'écran du téléphone. Les joueurs en Mobile Spectator peuvent suivre le rythme des jeux physiques aux côtés de la personne en réalité virtuelle, en utilisant l'écran du téléphone comme fenêtre sur le monde virtuel. Vous êtes libre de regarder autour de vous où que vous soyez et de faire l'expérience du monde du jeu d'une manière plus active en dehors de la réalité virtuelle !

Une fois que nous avons trouvé une solution pour afficher le Mobile Spectator dans le monde en réalité virtuelle, nous avons immédiatement compris qu'il fallait trouver des moyens d'ajouter davantage d'éléments interactifs.

Tout le monde aimait poser devant la caméra flottante Mobile Spectator; l'ajout d'un bouton de capture de photos à l'application était donc un choix évident. En appuyant sur le bouton de l'appareil photo sur le téléphone, l'appareil demande à l'ordinateur de capturer un cadre haute résolution. Cette image est ensuite renvoyée au téléphone et enregistrée directement dans la pellicule de la caméra du téléphone, prête à être modifiée ou partagée sur les réseaux sociaux. C’est tellement rapide et naturel que c’est comme de prendre une photo du monde réel !

L'interaction avec l'application Mobile Spectator semblait convaincante. Nous avons donc ajouté un bouton à l'application mobile qui, lorsqu'il est enfoncé, lance des ballons de plage au joueur en réalité virtuelle ! N'oubliez pas que, s'il s'agit essentiellement d'un composant multijoueur, il n'est pas nécessaire de créer un réseau personnalisé pour le prendre en charge. Cela semble particulièrement prometteur: l’interaction entre les utilisateurs sur téléphone et en réalité virtuelle ne ressemble à aucune des solutions que nous avons testées auparavant.

Mobile Spectator est une expérience vraiment unique qui vous permet d’avoir un aperçu du monde de la réalité virtuelle directement depuis votre téléphone mobile.

Divers facteurs font de Mobile Spectator une idée formidable, y compris certains défis importants que nous avons rencontrés. Premièrement, la fonctionnalité ajoute un peu de surcharge de performances au PC avec un rendu et un encodage vidéo supplémentaires. Le périphérique mobile est également fortement sollicité en exécutant simultanément ARCore et en décodant la vidéo. En outre, la latence est perceptible en raison du processus de codage / décodage et du temps de propagation aller-retour. Ce ne sont là que quelques-uns des problèmes que nous avons relevés, mais nous pensons qu’il est tout aussi important de partager ces résultats dans le cadre du processus d’expérimentation.