WWDC : l'un des créateurs de Vision Pro, les lunettes d'Apple, raconte comment s'est passé le développement

Le chercheur en neurotechnologie, Sterling Crispin , a révélé comment il avait contribué au développement des nouvelles lunettes de réalité virtuelle d'Apple présentées dans le monde entier depuis les États-Unis lors de l'événement pour développeurs WWDC23.

Le professionnel faisait partie de l'équipe de prototypage de neurotechnologie du groupe de développement technologique d'Apple. Il a révélé les efforts considérables déployés pour créer Vision Pro, l'incursion tant attendue d'Apple dans la réalité virtuelle.

Après avoir consacré 10% de sa vie à ce projet, le chercheur exprime sa fierté et son soulagement maintenant que le produit est enfin annoncé.

Ayant travaillé dans la réalité augmentée (AR) et la réalité virtuelle (VR) au cours des dix dernières années, le chercheur estime que Vision Pro représente le summum du progrès pour l'ensemble de l'industrie. Exprime sa gratitude pour votre contribution à la réalisation de ce produit révolutionnaire et offre une consultation à ceux qui souhaitent entrer ou affiner leurs stratégies dans ce domaine.

Pendant son séjour chez Apple, il a joué un rôle clé dans le développement précoce de Vision Pro, "couvrant des expériences de pleine conscience, des produits non divulgués et également des recherches ambitieuses en neurotechnologie". L'un de ces projets de recherche consistait à prédire le comportement des utilisateurs avant qu'il ne se produise, quelque chose de similaire à la lecture de l'esprit ».

Alors qu'une grande partie de son travail est gardée privée en raison d'accords de confidentialité, ses contributions ont laissé un impact durable sur de nombreux aspects des efforts de réalité virtuelle d'Apple.

Détection de l'état mental des utilisateurs

En collectant des données sur le corps et le cerveau des utilisateurs, le chercheur et son équipe « ont cherché à discerner divers états cognitifs tels que la curiosité, l'errance mentale, la peur, l'attention et la mémoire. Ceci a été réalisé grâce à des mesures telles que le suivi oculaire, l'activité électrique cérébrale, le rythme cardiaque, l'activité musculaire, la densité sanguine dans le cerveau, la pression artérielle, la conductance cutanée, entre autres ».

Pour parvenir à ces prédictions spécifiques, le chercheur et son équipe ont utilisé diverses techniques, dont certaines ont été divulguées publiquement par le biais de brevets.

Selon lui, en surveillant le comportement des yeux et en utilisant des techniques de biofeedback, l'interface utilisateur pourrait être repensée en temps réel pour générer une réponse anticipative de la pupille, créant ainsi une interface cerveau-ordinateur rudimentaire à travers les yeux. Ces avancées offrent une alternative à la chirurgie cérébrale invasive et représentent une réalisation importante pour l'équipe », a-t-il expliqué.

D'autres techniques révélées dans les brevets impliquaient de présenter rapidement des stimuli aux utilisateurs, qu'ils pourraient ne pas percevoir consciemment, puis de mesurer leurs réactions à ceux-ci.

En utilisant l'apprentissage automatique et les signaux du corps et du cerveau, l'équipe a pu prédire le niveau de concentration, de relaxation et d'apprentissage.

Quelles sont les caractéristiques des lunettes de réalité mixte d'Apple

Lors de l'événement World Developers Conference (WWDC23), Apple a présenté son produit révolutionnaire : les lunettes de réalité augmentée appelées Vision Pro. Celles-ci représentent une nouvelle façon d'expérimenter la technologie et marquent une étape importante dans l'écosystème Apple, étant le premier appareil depuis le lancement de l' Apple Watch en 2015.

L'une des caractéristiques marquantes des lunettes Vision Pro, qui fait l'objet de rumeurs depuis plusieurs mois, est sa méthode de contrôle.

Au lieu d'utiliser une télécommande comme d'autres appareils, les utilisateurs peuvent interagir avec les lunettes en utilisant de simples gestes du doigt pour activer et naviguer dans les différentes applications disponibles.

D'un simple "pincement", l'utilisateur peut cliquer sur l'écran virtuel, tandis qu'un glissement de la main vers le haut ou vers le bas lui permet de faire défiler les différents menus. Selon Tim Cook, PDG d'Apple, cela permet aux gens de faire des gestes subtils pour améliorer l'expérience d'utilisation de l'appareil.

Une autre caractéristique distinctive du casque de réalité mixte d'Apple est la couronne de style Apple Watch, qui permet aux utilisateurs d'ajuster l'arrière-plan ou le paysage numérique pour ne mettre en évidence que les applications actives. Cela permet un contrôle plus précis et personnalisable de l'expérience immersive du Vision Pro, en l'adaptant au niveau de concentration souhaité.

Étant donné que les lunettes sont un moyen de voir le monde grâce à la réalité augmentée, Apple a développé une fonctionnalité appelée "Vision Sight", qui permet à d'autres personnes de voir les yeux de l'utilisateur sans que celui-ci ait besoin de retirer ses lunettes, améliorant ainsi l'interaction sociale et la communication plutôt que l'isolement.