Physically-based image reconstruction

Abstract

The reconstruction of perturbed or lost data is one of the fundamental challenges in image processing and computer vision. In this work, we focus on the physical imaging process and approximate it in terms of so-called forward operators. We consider the inversion of these mathematically sound formulations to be the goal of reconstruction. We approach this task with variational techniques where we tailor our methods to the specific physical limitations and weaknesses of different imaging processes. The first part of this work is related to image processing. We propose an advanced reconstruction method for 3-D confocal and stimulated emission depletion (STED) microscopy imagery. To this end, we unify image denoising, deconvolution and anisotropic inpainting. The second part is related to computer vision: We propose a novel depth-from-defocus method and design a novel forward operator that preserves important physical properties. Our operator fits well into a variational framework. Moreover, we illustrate the benefits of a number of advanced concepts such as a joint depth-from-defocus and denoising approach as well as robustification strategies. Besides, we show the advantages of the multiplicative Euler-Lagrange formalism compared to the additive one. Synthetic and real-world experiments within the main chapters confirm the applicability and the performance of our methods.

Die Rekonstruktion gestörter oder verlorengegangener Daten ist eine der wesentlichen Herausforderungen der Bildverarbeitung und des Maschinensehens. In dieser Arbeit konzentrieren wir uns auf den physikalischen Bildgebungsprozess und nähern ihn mittels sogenannter Vorwärtsoperatoren an. Wir betrachten die Umkehrung dieser mathematisch stichhaltigen Formulierungen als das Ziel von Rekonstruktion. Wir gehen diese Aufgabe mit Variationsverfahren an, wobei wir unsere Methoden auf die spezifischen physikalischen Grenzen und Schwächen der verschiedenen Bildgebungsverfahren ausrichten. Der erste Teil dieser Arbeit betrifft die Bildverarbeitung. Wir stellen eine weiterentwickelte Rekonstruktionsmethode für 3-D Konfokal und STED (stimulated emission depletion) Mikroskopiebilder vor. Hierzu vereinigen wir Bildentrauschung, Entfaltung und anisotropes Einfüllen. Der zweite Teil betrifft maschinelles Sehen: Wir stellen eine neue Depth-from-Defocus Methode vor und entwerfen einen neuen Vorwärtsoperator, der wichtige physikalische Eigenschaften wahrt. Unser Operator passt gut in ein variationelles Gerüst. Zudem zeigen wir die Vorteile etlicher weitergehender Konzepte, wie eine gemeinsame Depth-from-Defocus- und Entrauschungsmethode, sowie Robustifizierungsstrategien. Außerdem zeigen wir die Vorteile des multiplikativen Euler-Lagrange Formalismus gegenüber dem additiven. Synthetische und reale Experimente in den Hauptkapiteln bestätigen die Anwendbarkeit und das Vermögen unserer Methoden.