2 Nieuwe prototypes gepresenteerd door het Meta-onderzoeksteam

Het Reality Labs Research team, gespecialiseerd in displaysystemen, presenteert twee nieuwe demonstratieprototypes op de SIGGRAPH 2023 conferentie in Los Angeles van 6 tot 10 augustus.

Eerste prototype "Butterscotch Varifocal": Deze headset combineert de varifocale technologie van de prototypes uit de Half Dome-serie met een scherm met retina-resolutie.

Tweede prototype "Flamera": Een computationele camera die gebruik maakt van lichtveldtechnologie voor een virtuele realiteitservaring zonder reprojectie.

Beide apparaten bevinden zich in de onderzoeksfase en zijn niet bedoeld om op de markt te worden gebracht. Het doel is om nieuwe technologieën te testen om het onderzoek vooruit te helpen.

Butterscotch Varifocal: focussen op minuscule details

De headsets van tegenwoordig dompelen ons perfect onder in virtuele werelden, of ze nu sterk gestileerd of fotorealistisch zijn. Momenteel zijn ze echter beperkt door een vaste brandpuntsafstand. Alles binnen ongeveer 1 meter van je ogen wordt duidelijk weergegeven, maar als je iets dicht bij je gezicht houdt, kunnen de meeste mensen niet volledig scherpstellen. Gelukkig houden de meeste VR-ontwikkelaars hier rekening mee en houden ze de actie op een comfortabele afstand zodat alles scherp blijft.

Maar wat als je VR voor je werk gebruikt en tekst op een virtueel scherm moet lezen? Of als er een interessant object is dat je van dichtbij wilt bekijken om alle kleine details te waarderen? Dat is waar variabele focus om de hoek komt kijken.

Door gebruik te maken van eye-tracking technologie en het scherm dichter of verder van je ogen af te bewegen, afhankelijk van waar je kijkt, stelt het systeem je in staat om op verschillende dieptes scherp te stellen voor een natuurlijkere, realistischere en comfortabelere ervaring. In combinatie met een scherm met retina-resolutie krijg je scherpe, heldere beelden die doen denken aan wat je met het blote oog kunt zien.

Flamera: Een nieuwe benadering van Passthrough

Virtual reality is ideaal wanneer je een totaal overweldigende ervaring wilt, zoals afgesloten worden van de echte wereld om in nieuwe werelden te leven, genieten van een totaal virtueel interactief verhaal of een film op het grote scherm bekijken zoals in de bioscoop.

Maar er zijn ook momenten waarop het handig is om wat meer verbonden te zijn met de buitenwereld, bijvoorbeeld als er onverwacht iets je spelruimte binnenkomt of als je virtuele content in je fysieke omgeving wilt introduceren. Dit is het geval met mixed reality (MR) en 'passthrough', waarmee je een digitale recreatie van de fysieke wereld in je headset kunt zien.

Dit is iets wat moderne headsets zoals de Quest Pro goed doen (en de Quest 3 zal het nog beter doen). De passthrough van tegenwoordig is echter afhankelijk van op een helm gemonteerde camera's, meestal op een paar centimeter afstand van waar je ogen zich bevinden. Dit betekent dat de camera's een ander beeld vastleggen dan wanneer je geen helm zou dragen. De beelden kunnen met de computer worden gereprojecteerd om het 'juiste' beeld te krijgen, maar dit kan leiden tot visuele artefacten. En zelfs als de camera's recht voor de ogen zouden worden geplaatst, zou het zicht nog steeds afwijken door de dikte van de helm.

"Om deze uitdaging aan te gaan, hebben we nagedacht over optische architecturen die in staat zijn om direct dezelfde lichtstralen op te vangen als die het blote oog ziet. Door vanaf nul te beginnen met het ontwerpen van onze helm in plaats van een bestaand model aan te passen, kwamen we uit op een camera die er volledig uniek uitziet, maar die een betere beeldkwaliteit en lagere latentie levert." | Grace Kuo - Onderzoekswetenschapper

In tegenstelling tot een traditionele lichtveldcamera met een reeks lenzen, plaatst Flamera (denk 'platte camera') strategisch een diafragma achter elke lens in de reeks. Deze diafragma's blokkeren ongewenste lichtstralen, zodat alleen de gewenste stralen de ogen bereiken (terwijl een traditionele lichtveldcamera meer dan deze lichtstralen zou opvangen, wat zou resulteren in een onaanvaardbaar lage beeldresolutie). De gebruikte architectuur concentreert de sensorpixels ook op de relevante delen van het lichtveld, wat resulteert in beelden met een veel hogere resolutie.

De ruwe sensorgegevens zien er uiteindelijk uit als kleine cirkels van licht, die elk slechts een deel van het gewenste beeld van de fysieke wereld buiten de helm bevatten. Flamera reorganiseert de pixels en schat een grove dieptekaart om reconstructie op basis van diepte mogelijk te maken.

Dit alles resulteert in een beeld van de fysieke wereld door de helmlens dat dichter ligt bij wat het oog van nature zou zien, met minder artefacten dan commerciële helmen die momenteel op de markt verkrijgbaar zijn en met een hogere resolutie dan traditionele lichtveldcamera's. Dit maakt de weg vrij voor nog realistischere MR-ervaringen die virtuele content naadloos laten samensmelten met onze kijk op de fysieke wereld in de toekomst.

Source : https://www.meta.com/en-gb/blog/quest/reality-labs-research-display-systems-siggraph-2023-butterscotch-varifocal-flamera