2 Neue Prototypen vom Meta-Forschungsteam vorgestellt

Das auf Displaysysteme spezialisierte Forschungsteam von Reality Labs Research wird auf der SIGGRAPH 2023-Konferenz in Los Angeles vom 6. bis 10. August zwei neue Demonstrationsprototypen vorstellen.

Erster Prototyp "Butterscotch Varifocal": Dieser Helm kombiniert die Varifocal-Technologie der Half-Dome-Prototypenserie mit einem retinal auflösenden Display.

Zweiter Prototyp "Flamera": Eine computergestützte Kamera, die die Lichtfeldtechnologie für einen Durchgang durch die virtuelle Realität ohne Reprojektion nutzt.

Beide Geräte befinden sich im Forschungsstadium und sind nicht dazu bestimmt, kommerziell vertrieben zu werden. Das Ziel hier ist es, neue Technologien zu testen, um die Forschung voranzutreiben.

Butterscotch Varifocal: Fokus auf kleinste Details

Die heutigen Headsets lassen uns perfekt in virtuelle Welten eintauchen, egal ob diese stark stilisiert oder fotorealistisch sind. Allerdings sind sie derzeit durch eine feste Brennweite eingeschränkt. Alles, was sich etwa einen Meter von Ihren Augen entfernt befindet, erscheint klar und deutlich, aber wenn Sie etwas nahe an Ihr Gesicht halten, sind die meisten Menschen nicht in der Lage, mit voller Klarheit zu fokussieren. Glücklicherweise berücksichtigen die meisten VR-Entwickler diese Tatsache, indem sie das Geschehen in einer angenehmen Entfernung halten, sodass alles scharf bleibt.

Aber was ist, wenn Sie VR beruflich nutzen und einen Text auf einem virtuellen Bildschirm lesen müssen? Oder wenn es ein interessantes Objekt gibt, das Sie gerne aus der Nähe inspizieren würden, um all die kleinen Details zu erkennen? Genau hier kommt die variable Brennweite ins Spiel.

Indem die Eye-Tracking-Technologie genutzt wird und der Bildschirm je nachdem, wo Sie hinschauen, näher oder weiter von Ihren Augen entfernt ist, ermöglicht das System Ihnen, sich auf verschiedene Tiefen zu konzentrieren und so ein natürlicheres, realistischeres und bequemeres Erlebnis zu haben. In Kombination mit einem Bildschirm mit Retina-Auflösung erhalten Sie klare und scharfe Bilder, die mit dem, was Sie mit bloßem Auge sehen können, konkurrieren.

Flamera : Ein neuer Ansatz für Passthrough

Virtuelle Realität ist ideal, wenn man eine völlig immersive Erfahrung machen möchte, sozusagen abgeschnitten von der realen Welt, um in neuen Welten zu leben, eine völlig virtuelle interaktive Geschichte zu genießen oder einen Film auf der großen Leinwand wie im Kino anzuschauen.

Es gibt aber auch Momente, in denen es sinnvoll ist, ein wenig mehr mit der Außenwelt verbunden zu sein, z. B. wenn etwas unerwartet in Ihren Spielbereich eindringt oder wenn Sie virtuelle Inhalte in Ihre physische Umgebung einbringen möchten. Dies ist der Fall bei Mixed Reality (MR) und "Passthrough", bei dem Sie eine digitale Nachbildung der physischen Welt innerhalb Ihres Headsets sehen können.

Das ist etwas, was moderne Headsets wie Quest Pro gut können (und Quest 3 wird es noch besser können). Der heutige Passthrough beruht jedoch auf Kameras, die am Helm angebracht sind, meist nur wenige Zentimeter von der Stelle entfernt, an der sich Ihre Augen befinden. Das bedeutet, dass die Kameras eine andere Sicht einfangen als die, die Sie hätten, wenn Sie keinen Helm tragen würden. Die Bilder können zwar computergestützt auf die "richtige" Ansicht projiziert werden, aber das kann zu visuellen Artefakten führen. Und selbst wenn man die Kameras direkt vor den Augen platzieren würde, wäre die Sicht aufgrund der Dicke des Helms immer noch verschoben.

"Um diese Herausforderung zu meistern, haben wir über optische Architekturen nachgedacht, die direkt dieselben Lichtstrahlen einfangen können, die man mit dem bloßen Auge sieht. Da wir bei der Entwicklung unseres Helms bei null anfingen, anstatt ein bestehendes Modell zu modifizieren, haben wir eine Kamera mit einem völlig einzigartigen Aussehen entwickelt, die jedoch eine bessere Bildqualität und eine geringere Latenzzeit ermöglicht." | Grace Kuo - Wissenschaftliche Forscherin

Im Gegensatz zu einer herkömmlichen Lichtfeldkamera mit einer Matrix von Linsen platziert Flamera (denken Sie an "flache Kamera") strategisch eine Öffnung hinter jeder Linse in der Matrix. Diese Öffnungen blockieren physisch unerwünschte Lichtstrahlen, sodass nur die gewünschten Strahlen die Augen erreichen (während eine herkömmliche Lichtfeldkamera mehr als diese Lichtstrahlen einfangen würde, was zu einer inakzeptabel niedrigen Bildauflösung führen würde). Die verwendete Architektur konzentriert die Pixel des Sensors außerdem auf die relevanten Teile des Lichtfeldes, was zu einer wesentlich höheren Bildauflösung führt.

Die Rohdaten des Sensors sehen letztendlich wie kleine Lichtkreise aus, die jeweils nur einen Teil der gewünschten Ansicht der physischen Welt außerhalb des Helms enthalten. Flamera ordnet die Pixel neu an und schätzt eine grobe Tiefenkarte, um eine tiefenabhängige Rekonstruktion zu ermöglichen.

All dies führt zu einer Ansicht der physischen Welt durch das Objektiv des Helms, die dem, was das Auge natürlich sehen würde, näher kommt, mit weniger Artefakten im Vergleich zu kommerziellen Helmen, die heute auf dem Markt erhältlich sind, und mit einer höheren Auflösung als herkömmliche Lichtfeldkameras. Dies ebnet den Weg für noch realistischere MR-Erlebnisse, die virtuelle Inhalte nahtlos mit unserer Sicht auf die physische Welt in der Zukunft vermischen.

Source : https://www.meta.com/en-gb/blog/quest/reality-labs-research-display-systems-siggraph-2023-butterscotch-varifocal-flamera