2 nuovi prototipi presentati dal team di ricerca Meta

Il team di ricerca Reality Labs specializzato in sistemi di visualizzazione presenterà due nuovi prototipi dimostrativi alla conferenza SIGGRAPH 2023 che si terrà a Los Angeles dal 6 al 10 agosto.

Primo prototipo "Butterscotch Varifocal": questo auricolare combina la tecnologia varifocale della serie di prototipi Half Dome con uno schermo a risoluzione retina.

Secondo prototipo "Flamera": una telecamera computazionale che utilizza la tecnologia dei campi di luce per un'esperienza di realtà virtuale senza riproiezioni.

Entrambi i dispositivi sono in fase di ricerca e non sono destinati alla commercializzazione. L'obiettivo è testare nuove tecnologie per far progredire la ricerca.

Varifocale Butterscotch: messa a fuoco dei minimi dettagli

Le attuali cuffie ci immergono perfettamente nei mondi virtuali, siano essi altamente stilizzati o fotorealistici. Tuttavia, attualmente sono limitate da una lunghezza focale fissa. Tutto ciò che si trova a circa 1 metro dagli occhi appare chiaramente, ma se si tiene qualcosa vicino al viso, la maggior parte delle persone non è in grado di mettere a fuoco con assoluta chiarezza. Fortunatamente, la maggior parte degli sviluppatori di VR tiene conto di questo aspetto, mantenendo l'azione a una distanza confortevole per mantenere tutto a fuoco.

Ma cosa succede se si usa la VR per lavoro e si deve leggere un testo su uno schermo virtuale? O se c'è un oggetto interessante che si desidera esaminare da vicino per apprezzarne tutti i piccoli dettagli? È qui che entra in gioco la messa a fuoco variabile.

Sfruttando la tecnologia di tracciamento degli occhi e spostando lo schermo più vicino o più lontano dagli occhi a seconda del punto in cui si guarda, il sistema consente di mettere a fuoco a diverse profondità per un'esperienza più naturale, realistica e confortevole. In combinazione con uno schermo a risoluzione retina, si ottengono immagini nitide e chiare che rivaleggiano con quelle che si possono vedere a occhio nudo.

Flamera: Un nuovo approccio al Passthrough

La realtà virtuale è ideale quando si vuole vivere un'esperienza totalmente immersiva, come staccarsi dal mondo reale per vivere in nuovi mondi, godersi una storia interattiva totalmente virtuale o guardare un film sul grande schermo come al cinema.

Ma ci sono anche momenti in cui è utile essere un po' più connessi al mondo esterno, ad esempio quando qualcosa entra inaspettatamente nel vostro spazio di gioco o se volete introdurre contenuti virtuali nel vostro ambiente fisico. È questo il caso della realtà mista (MR) e del "passthrough", che consente di vedere una riproduzione digitale del mondo fisico all'interno delle cuffie.

Questo è un aspetto che le moderne cuffie come Quest Pro sanno fare bene (e Quest 3 farà ancora meglio). Tuttavia, l'attuale passthrough si basa su telecamere montate sul casco, di solito a pochi centimetri di distanza dalla posizione degli occhi. Ciò significa che le telecamere catturano una visuale diversa da quella che si avrebbe se non si indossasse il casco. Le immagini possono essere riproiettate al computer per ottenere la visuale "corretta", ma questo può portare ad artefatti visivi. E anche se le telecamere fossero posizionate direttamente davanti agli occhi, la visuale sarebbe comunque sfalsata a causa dello spessore del casco.

"Per affrontare questa sfida, abbiamo pensato ad architetture ottiche in grado di catturare direttamente gli stessi raggi di luce visti a occhio nudo. Partendo da zero per progettare il nostro casco invece di modificare un modello esistente, abbiamo ottenuto una telecamera dall'aspetto completamente unico, ma che offre una migliore qualità dell'immagine e una minore latenza." | Grace Kuo - ricercatrice

A differenza di una tradizionale telecamera a campo chiaro con una serie di lenti, Flamera (si pensi a una "telecamera piatta") posiziona strategicamente un'apertura dietro ogni lente della serie. Queste aperture bloccano fisicamente i raggi di luce indesiderati, in modo che solo i raggi desiderati raggiungano gli occhi (mentre una telecamera tradizionale a campo chiaro catturerebbe più di questi raggi di luce, con una risoluzione dell'immagine inaccettabilmente bassa). L'architettura utilizzata concentra inoltre i pixel del sensore sulle parti rilevanti del campo di luce, ottenendo immagini con una risoluzione molto più elevata.

I dati grezzi del sensore finiscono per assomigliare a piccoli cerchi di luce, ognuno dei quali contiene solo una parte della visione desiderata del mondo fisico esterno al casco. Flamera riorganizza i pixel, stimando una mappa di profondità grossolana per consentire la ricostruzione basata sulla profondità.

Tutto ciò si traduce in una visione del mondo fisico attraverso la lente del casco più vicina a quella che l'occhio vedrebbe naturalmente, con meno artefatti rispetto ai caschi commerciali oggi disponibili sul mercato e con una risoluzione più elevata rispetto alle tradizionali telecamere a campo chiaro. Questo apre la strada a esperienze di risonanza magnetica ancora più realistiche, in grado di fondere perfettamente i contenuti virtuali con la nostra visione del mondo fisico in futuro.

Source : https://www.meta.com/en-gb/blog/quest/reality-labs-research-display-systems-siggraph-2023-butterscotch-varifocal-flamera