Neurable vous permet de contrôler un monde virtuel avec votre esprit

J'ai déjà utilisé mes yeux pour interagir avec un monde virtuel mais la startup Neurable a amélioré cette expérience en lisant mes pensées.

A l'occasion du SIGGRAPH cette semaine, une startup implantée à Boston a dévoilé son HTC Vive modifié qui comprend des capteurs EEG (électroencéphalographie) sur la sangle reposant sur la tête. Un dispositif combiné avec la technologie de suivi des yeux (Eye tracking) de l'entreprise allemande SMI, qui vient d'être acquise par Apple. La structure ressemble à une sorte de peigne avec des capteurs EEG qui pointent à travers mes cheveux pour pouvoir subtilement entrer en contact avec mon cuir chevelu où ils peuvent détecter une activité cérébrale. Il est d'ailleurs étrange d'entendre quelqu'un à l'extérieur de mon environnement virtuel me dire que mon cerveau a l'air bien.

Ce qui a suivi était une brève formation où un groupe d'objets flottait devant moi : un train, une balle et un bloc. Chaque fois que l'un d'entre eux tournait, on m'a demandé de me concentrer sur cet objet et de penser "saisir" dans mon esprit. Je l'ai fait plusieurs fois pour plusieurs objets, tous réussis.

Ensuite, il y a eu un test. On m'a dit de penser à l'objet que je voulais. J'ai essayé de ne pas regarder directement l'objet que je voulais, mais cinq fois sur cinq, l'objet correct a été choisi comme je l'ai pensé. Une sixième fois, le mauvais objet a été sélectionné, mais précisons que cela s'est produit alors que quelqu'un me parlait et que j'étais distrait. Lorsque je me suis recentré sur l'objet, presque tout de suite l'objet correct s'est déplacé vers moi.
 

Dans la vidéo ci-dessus, vous pouvez voir chacun des objets clignoter. Le CEO de la société, Ramses Alcaide, affirme qu'ils sont capables de détecter ces flashes dans mon cerveau même s'ils s'inscrivent inconsciemment. Il a déclaré que le suivi des yeux à l'intérieur du casque n'était pas actif pendant la formation et la partie test de la démonstration. Il a été activé pendant la partie suivante de la démo afin de montrer le potentiel du système dans un environnement de jeu. Voici comment Neurable le décrit :


Selon Neurable, cela fonctionne en utilisant le machine learning pour interpréter « votre activité cérébrale en temps réel et permettre d'obtenir des pouvoirs virtuels de télékinésie ». La société propose un SDK afin que les développeurs Unity puissent intégrer le système dans un jeu.

J'ai pu sélectionner un groupe d'objets sur le sol de ma cellule en pensant simplement à eux et ensuite les utiliser pour tenter de m'échapper. On m'a prodigué quelques conseils de l'extérieur de mon monde virtuel pour m'échapper de la pièce, mais la sélection avec mon esprit m'a permis de saisir les objets que je voulais. Alors que je me déplaçais dans un laboratoire, je regardais les comptoirs et pensais aux objets à jeter sur un robot qui s'approchait de moi. L'un de ces objets était un clavier. Comme je pensais le mot «attraper» il flottait vers moi. Objet après objet, je les ai lancés sur les robots jusqu'à ce que j'arrive à la fin du niveau.

"Nous avons deux modes. Le mode Pure EEG, qui détermine l'objet que vous voulez et vous l'apporte directement, et nous avons un mode qui est un mode hybride BCI , et dans ce mode, nous utilisons les yeux comme une sorte de souris que vous pouvez déplacer sur l'objet que vous souhaitez sélectionner", explique Alcaide. "De là, votre cerveau nous dit sur lequel vous avez cliqué".

Dans la vidéo ci-dessus, vous pouvez me voir me couvrir le visage comme une sorte de réaction de surprise chaque fois que le système a correctement identifié quel objet je voulais. J'étais franchement en état de choc - je ne m'attendais pas à ce que le système fonctionne aussi bien. Cette interface cerveau-ordinateur et la démo précédente de suivi des yeux ont provoqué un véritable sentiment de superpouvoirs.

Selon Alcaide, Neurable a levé environ 2 millions de dollars et compte 13 employés.

"Je pense que l'avenir des interactions de la réalité mixte est un écosystème de solutions qui intègre le contrôle de la voix, du geste, du suivi des yeux et le chaînon manquant de ce puzzle complet est une interface cerveau-ordinateur. Nous avons besoin d'une sorte de système qui empêche l'action de se produire jusqu'à ce que l'utilisateur veuille que cela se produise, et c'est là que les interfaces cerveau-ordinateur entrent en jeu", explique Alcaide. "À mon avis, la réalité mixte ne peut pas devenir une plate-forme informatique omniprésente comme l'iPhone, ou comme l'ordinateur, jusqu'à ce que nous ayons des interfaces cerveau-ordinateur intégrés dans la solution".