Perceptual modeling for stereoscopic 3D

Abstract

Virtual and Augmented Reality applications typically rely on both stereoscopic presentation and involve intensive object and observer motion. A combination of high dynamic range and stereoscopic capabilities become popular for consumer displays, and is a desirable functionality of head mounted displays to come. The thesis is focused on complex interactions between all these visual cues on digital displays.

The first part investigates challenges of the stereoscopic 3D and motion combination. We consider an interaction between the continuous motion presented as discrete frames. Then, we discuss a disparity processing for accurate reproduction of objects moving in the depth direction. Finally, we investigate the depth perception as a function of motion parallax and eye fixation changes by means of saccadic motion.

The second part focuses on the role of high dynamic range imaging for stereoscopic displays. We go beyond the current display capabilities by considering the full perceivable luminance range and we simulate the real world experience in such adaptation conditions. In particular, we address the problems of disparity retargeting across such wide luminance ranges and reflective/refractive surface rendering.

The core of our research methodology is perceptual modeling supported by our own experimental studies to overcome limitations of current display technologies and improve the viewer experience by enhancing perceived depth, reducing visual artifacts or improving viewing comfort.

Anwendungen von virtueller und erweiterter Realität verwenden in der Regel eine stereoskopische Darstellung und schließen intensive Objekt- und Betrachterbewegung ein. Die Integration von hohen Dynamikumfängen stellt eine weitere erstrebenswerte Funktionalität dar. Diese Arbeit beschäftigt sich mit den komplexen Wechselwirkungen zwischen all diesen visuellen Wahrnehmungselementen. Wir beschreiben die Enschränkungen aktueller Bildschirmtechnologien und überwinden sie, indem wir Wahrnehmungsmodelle zusammen mit unseren eigenen Studien verwenden, um den Betrachterkomfort zu steigern, die wahrgenommen Tiefe zu verstärken und visuelle Artefakte zu reduzieren.

Der erste Teil untersucht die Herausforderungen die entstehen, wenn stereoskopisches 3D mit Bewegung kombiniert wird. Wir betrachten Wechselwirkungen zwischen kontinuierlicher Bewegung, die in Form diskreter Einzelbilder dargestellt wird. Weiterhin untersuchen wir die Tiefenwahrnehmung sowohl von Objekten, die sich in die Tiefenrichtung bewegen, als auch bei Bewegungsparallaxe und Fixationsveränderungen des Auges mittels sakkadischer Bewegung.

Der zweite Teil beschäftigt sich mit der Rolle von Bildern mit hohem Dynamikumfang. Indem wir den kompletten wahrnehmbaren Luminanzumfang betrachten, überschreiten wir die Möglichkeiten aktueller Bildschirme und analysieren die Anpassung von Disparitäten und das Rendern von reflektierenden Oberflächen in solch unterschiedlichen Bedingungen.