2 Nouveaux prototypes présentés par l'équipe de recherche de Meta

L'équipe de recherche spécialisée sur les systèmes d'affiche de Reality Labs Research va présenter lors de la conférence du SIGGRAPH 2023 à Los Angeles du 6 au 10 Août, deux nouveaux prototypes de démonstration.

Premier prototype "Butterscotch Varifocal" : Ce casque combine la technologie varifocale de la série de prototypes Half Dome avec un écran à résolution rétinienne.

Deuxième prototype "Flamera" : Une caméra computationnelle qui utilise la technologie du champ lumineux pour une traversée de la réalité virtuelle sans reprojection.

Les deux appareils sont au stade de la recherche et ne sont pas voués à être commercialiser. Le but ici étant de tester de nouvelles technologies pour faire avancer la recherche.

Butterscotch Varifocal : Une mise au point sur les détails infimes

Les casques d'aujourd'hui nous immergent parfaitement dans les mondes virtuels, qu'ils soient très stylisés ou photoréalistes. Cependant, ils sont actuellement limités par une distance focale fixe. Tout ce qui se trouve à environ 1 mètre de vos yeux apparaît clairement, mais si vous tenez quelque chose près de votre visage, la plupart des gens sont incapables de faire la mise au point avec une clarté totale. Heureusement, la plupart des développeurs VR tiennent compte de ce fait, en maintenant l'action à une distance confortable pour que tout reste net.

Mais qu'en est-il si vous utilisez la VR pour le travail et que vous devez lire un texte sur un écran virtuel ? Ou s'il y a un objet intéressant que vous aimeriez inspecter de près pour en apprécier tous les petits détails ? C'est là qu'intervient la focale variable.

En tirant parti de la technologie de suivi des yeux et en rapprochant ou en éloignant l'écran de vos yeux en fonction de l'endroit où vous regardez, le système vous permet de vous concentrer à différentes profondeurs pour une expérience plus naturelle, plus réaliste et plus confortable. Associé à un écran à résolution rétinienne, vous obtenez des images claires et nettes qui rivalisent avec ce que vous pouvez voir à l'œil nu.

Flamera : Une nouvelle approche du Passthrough

La réalité virtuelle est idéale quand on veut vivre une expérience totalement immersive, un peu comme coupé du monde réel pour y vivre dans de nouveaux mondes, apprécier une histoire interactive totalement virtuelle ou encore regarder un film en grand écran comme au cinéma.

Mais il y a aussi des moments où il est utile d'être un peu plus connecté au monde extérieur, par exemple lorsque quelque chose entre de manière inattendue dans votre espace de jeu ou si vous souhaitez introduire du contenu virtuel dans votre environnement physique. C'est le cas de la réalité mixte (RM) et du "passthrough", qui vous permet de voir une recréation numérique du monde physique à l'intérieur de votre casque.

C'est quelque chose que les casques modernes comme Quest Pro font bien (et Quest 3 fera encore mieux). Cependant, le passthrough d'aujourd'hui repose sur des caméras montées sur le casque, généralement à quelques centimètres de l'endroit où se trouvent vos yeux. Cela signifie que les caméras capturent une vue différente de celle que vous auriez si vous ne portiez pas de casque. Les images peuvent être reprojetées de manière informatique pour obtenir la vue "correcte", mais cela peut entraîner des artefacts visuels. Et même si l'on plaçait les caméras directement devant les yeux, la vue serait toujours décalée en raison de l'épaisseur du casque.

"Pour relever ce défi, nous avons réfléchi à des architectures optiques capables de capturer directement les mêmes rayons de lumière que ceux que l'on voit à l'œil nu. En partant de zéro pour concevoir notre casque au lieu de modifier un modèle existant, nous avons abouti à une caméra à l'aspect tout à fait unique, mais qui permet d'obtenir une meilleure qualité d'image et un temps de latence plus faible." | Grace Kuo - Chercheuse scientifique

Contrairement à une caméra traditionnelle à champ lumineux dotée d'une matrice de lentilles, Flamera (pensez à "caméra plate") place stratégiquement une ouverture derrière chaque lentille de la matrice. Ces ouvertures bloquent physiquement les rayons de lumière indésirables, de sorte que seuls les rayons désirés atteignent les yeux (alors qu'une caméra à champ lumineux traditionnelle capturerait plus que ces rayons de lumière, ce qui entraînerait une résolution d'image inacceptablement faible). L'architecture utilisée concentre également les pixels du capteur sur les parties pertinentes du champ lumineux, ce qui permet d'obtenir des images de bien meilleure résolution.

Les données brutes du capteur finissent par ressembler à de petits cercles de lumière qui ne contiennent chacun qu'une partie de la vue souhaitée du monde physique à l'extérieur du casque. Flamera réorganise les pixels, estimant une carte de profondeur grossière pour permettre une reconstruction en fonction de la profondeur.

Tout cela permet d'obtenir une vue du monde physique à travers l'objectif du casque qui se rapproche davantage de ce que l'œil verrait naturellement, avec moins d'artefacts par rapport aux casques commerciaux disponibles sur le marché aujourd'hui et avec une résolution plus élevée que celle des caméras traditionnelles à champ lumineux. Cela ouvre la voie à des expériences de RM encore plus réalistes qui mélangent de manière transparente le contenu virtuel avec notre vision du monde physique à l'avenir.

Source : https://www.meta.com/en-gb/blog/quest/reality-labs-research-display-systems-siggraph-2023-butterscotch-varifocal-flamera