Perception-driven rendering : techniques for the efficient visualization of 3D scenes including view- and gaze-contingent approaches

Abstract

Computer graphics research strives to synthesize images of a high visual realism that are indistinguishable from real visual experiences. While modern image synthesis approaches enable to create digital images of astonishing complexity and beauty, processing resources remain a limiting factor. Here, rendering efficiency is a central challenge involving a trade-off between visual fidelity and interactivity. For that reason, there is still a fundamental difference between the perception of the physical world and computer-generated imagery. At the same time, advances in display technologies drive the development of novel display devices. The dynamic range, the pixel densities, and refresh rates are constantly increasing. Display systems enable a larger visual field to be addressed by covering a wider field-of-view, due to either their size or in the form of head-mounted devices. Currently, research prototypes are ranging from stereo and multi-view systems, head-mounted devices with adaptable lenses, up to retinal projection, and lightfield/holographic displays. Computer graphics has to keep step with, as driving these devices presents us with immense challenges, most of which are currently unsolved. Fortunately, the human visual system has certain limitations, which means that providing the highest possible visual quality is not always necessary. Visual input passes through the eye’s optics, is filtered, and is processed at higher level structures in the brain. Knowledge of these processes helps to design novel rendering approaches that allow the creation of images at a higher quality and within a reduced time-frame. This thesis presents the state-of-the-art research and models that exploit the limitations of perception in order to increase visual quality but also to reduce workload alike - a concept we call perception-driven rendering. This research results in several practical rendering approaches that allow some of the fundamental challenges of computer graphics to be tackled. By using different tracking hardware, display systems, and head-mounted devices, we show the potential of each of the presented systems. The capturing of specific processes of the human visual system can be improved by combining multiple measurements using machine learning techniques. Different sampling, filtering, and reconstruction techniques aid the visual quality of the synthesized images. An in-depth evaluation of the presented systems including benchmarks, comparative examination with image metrics as well as user studies and experiments demonstrated that the methods introduced are visually superior or on the same qualitative level as ground truth, whilst having a significantly reduced computational complexity.

Ein wesentliches Ziel der Computergrafik ist es Bilder zu synthetisieren, die sich nicht von den realen visuellen Erfahrungen unterscheiden. Während moderne Ansätze der Bildsynthese die Erstellung digitaler Bilder von erstaunlicher Komplexität und Realismus ermöglichen, sind die Verarbeitungsressourcen ein limitierender Faktor. Dabei ist eine Effizienzsteigerung die zentrale Herausforderung. Das Erzeugen qualitiativ hochwertiger Bilder bei gleichzeitiger Interaktivität unterliegt fortwährender Komprommisse. Aus diesem Grund gibt es immer noch einen grundlegenden Unterschied zwischen der Wahrnehmung der physischen Welt und der von computergenerierten Bildern. Gleichzeitig treiben die Fortschritte in den Display-Technologien die Entwicklung neuartiger Anzeigegeräte voran. Der Dynamikumfang, die Pixeldichten und die Bildwiederholraten nehmen ständig zu. Anzeigesysteme ermöglichen die Adressierung eines größeren Sichtfeldes, entweder aufgrund ihrer Größe oder in Form von Head-mounted Displays. Derzeit beobachten wir Forschungsprototypen von Stereo und Multiview-Systemen, Head-mounted Displays mit adaptierbaren Linsen bis hin zur Netzhautprojektion und Lightfield-/Holografie-Displays. Dabei stellt uns das Betreiben dieser Geräte von der Seite der Computergrafik vor große, bislang ungelöste Herausforderungen. Glücklicherweise hat das menschliche Sehsystem bestimmte Limitationen, so dass eine höchstmögliche visuelle Qualität nicht immer erforderlich ist. Visuelle Reize werden durch die Optik gefiltert, durch die Netzhaut erfasst und auf höheren Strukturen im Gehirn verarbeitet. Die Kenntnis dieser Prozesse hilft bei der Entwicklung neuartiger Rendering-Ansätze, die es ermöglichen, Bilder in höherer Qualität und in kürzerer Zeit zu synthetisieren. Diese Arbeit diskutiert den neuesten Stand der Forschung und präsentiert die Modelle, die die Grenzen der Wahrnehmung ausnutzen, um eine verbesserte visuelle Qualität und eine ressourcenoptimiertere Synthese von Bildern zu ermöglichen – ein Bereich bekannt als Perception-driven Rendering. Aus dieser Forschung resultieren mehrere praktische Rendering- Ansätze, die es ermöglichen, sich einigen der grundlegenden Herausforderungen der Computergrafik zu stellen. Durch den Einsatz unterschiedlicher Tracking-Hardware, Anzeigesysteme und Head-Mounted Devices wird das Potenzial der vorgestellten Systeme aufgezeigt. Die Erfassung spezifischer Prozesse des menschlichen visuellen Systems kann durch die Kombination mehrerer Messungen mit maschinellen Lerntechniken verbessert werden. Verschiedene Abtast-, Filter- und Rekonstruktionsverfahren unterstützen die visuelle Qualität der synthetisierten Bilder. Eine eingehende Bewertung der vorgestellten Systeme einschließlich Benchmarks, vergleichender Untersuchungen mit Bildmetriken sowie Anwenderstudien und Experimenten zeigt, dass die vorgestellten Methoden bei deutlich reduziertem Rechenaufwand oftmals visuell überlegen oder auf Augenhöhe im Vergleich zur Referenz sind.