High dynamic range imaging: problems of video exposure bracketing, luminance calibration and gloss editing

Abstract

Two-dimensional, conventional images are gradually losing their hegemony, leaving room for novel formats. Among these, 8 bit images give place to high dynamic range (HDR) image formats, allowing to improve colour gamut and visibility of details in dark and bright areas leading to a more immersive viewing experience. It opens wide opportunities for post-processing, which can be useful for artistic rendering, enhancement of viewing experience or medical applications. Simultaneously, light-field scene representation as well is gaining importance, propelled by the recent reappearance of virtual reality, the improvement of both acquisition techniques, and computational and storage capabilities. Light-field data as well allows to achieve a broad range of effects in post-production: among others, it enables a change of a camera position, an aperture or a focal length. It facilitates object insertions and simplifies visual effects workflow by integrating 3D nature of visual effects with 3D nature of light fields. Content generation is one of the stumbling blocks in these realms. Sensor limitations of a conventional camera do not allow to capture wide dynamic range. This especially is the case for mobile devices, where small sensors are optimised for capturing in high-resolution. The “HDR mode” often encountered on such devices, relies on techniques called “exposure fusion” and allows to partially overcome the limited range of a sensor. The HDR video at the same time remains a challenging problem. We suggest a solution for an HDR video capturing on a mobile device. We analyse dynamic range of motion regions, the regions which are the most prone to reconstruction artefacts, and suggest a real-time exposure selection algorithm. Further, an HDR content visualization task often requires an input to be in absolute values. We address this problem by presenting a calibration algorithm that can be applied to existent imagery and does not require any additional measurement hardware. Finally, as light fields use becomes more common, a key challenge is the ability to edit or modify the appearance of the objects in the light field. To this end, we propose a multidimensional filtering approach in which the specular highlights are filtered in the spatial and angular domains to target a desired increase of the material roughness.

Klassische zweidimensionale Bilder verlieren allmählich ihre Vorherrschaft und ermöglichen damit das Aufkommen neuartiger Formate. Unter anderem werden 8-Bit-Bilder von Bildern mit hohem Dynamikumfang (HDR) verdrängt, die eine Verbesserung des Farbraums und die Sichtbarkeit von Details in dunklen und hellen Bereichen möglich machen und somit zu einem immersiveren Seherlebnis führen. Dies eröffnet weitreichende Möglichkeiten für die Postproduktion, die für künstlerisches Rendering, die Verbesserung des Seherlebnisses oder medizinische Anwendungen nützlich sind. Angetrieben vom jüngsten Wiederaufleben von virtueller Realität und der Verbesserung von sowohl Aufnahmetechnologie als auch der Rechen- und Speicherleistung, gewinnt auch die Lichtfeld-Szenenrepräsentation an Bedeutung. Lichtfelddaten lassen umfangreiche Effekte in der Postproduktion zu: Unter anderem sind Änderungen von Position, Blende oder Brennweite der Kamera möglich. Objekte können nachträglich in die Szene eingefügt werden und der Workflow für visuelle Effekte wird vereinfacht, da sich dreidimensionale visuelle Effekte natürlicherweise in dreidimensionale Lichtfelder integrieren lassen. In diesem Gebiet ist das Erzeugen von Inhalten ist einer der Stolpersteine. Sensorbeschränkungen von herkömmlichen Kameras führen dazu, dass hohe Dynamikumfänge nicht aufgezeichnet werden können. Dies ist besonders in mobilen Geräten der Fall, bei denen kleine Sensoren für hochauflösende Aufnahmen optimiert sind. Der “HDR Modus”, der in diesen Geräten häufig zu finden ist, beruht auf der sogenannten “Belichtungsfusion” und kann den eingeschränkten Umfang des Sensors teilweise erweitern. HDR-Videos stellen hingegen weiterhin ein anspruchsvolles Problem dar. Wir schlagen eine Lösung vor, um HDR-Videos auf mobilen Geräten aufzuzeichnen. Wir analysieren den Dynamikumfang von Bewegungsbereichen, also solchen Bildbereichen, die am anfälligsten für Rekonstruktionsartefakte sind, und schlagen einen Echtzeitalgorithmus zur Belichtungsauswahl vor. Darüber hinaus werden für die Visualisierung von HDR-Inhalten häufig Eingaben auf einer absoluten Skala. Wir widmen uns diesem Problem, indem wir einen Kalibrierungsalgorithmus vorschlagen, der auf bestehendes Bildmaterial angewendet werden kann und keine zusätzliche Vermessungshardware benötigt. Da Lichtfeldanwendungen immer verbreiteter werden, stellt das Bearbeiten oder Verändern des Erscheinungsbildes von Objekten in Lichtfeldern eine zentrale Herausforderung dar. Zu diesem Zweck schlagen wir einen multidimensionalen Filteransatz vor, bei dem Glanzlichter im räumlichen und im Winkelraum gefiltert werden, um die Unebenheit von Materialien kontrolliert zu verstärken.