Visual Computing for Motion Processing and Multimodal Imaging: Addressing Cross-Domain Challenges in Neuroscience Applications

Abstract

Applying computer vision methods developed for natural RGB images to biomedical imaging, particularly in neuroscience, presents unique challenges due to data characteristics and domain-specific requirements. Cross-domain adaptation of visual computing methods from natural images to medicine, life sciences, and, particularly, neuroscience therefore shapes how images are used in biomedical research. Most methods in computer vision are optimized for specific domains and innovations often happen for natural, RGB images first. The challenge in applying these methods in systems neuroscience lies in understanding the unique statistics of the data, the limitations of the methods and the specific requirements of the target domain and application.

This thesis addresses these challenges for applications in dynamic face analysis and neuroimaging with new methods for motion analysis, motion visualization, motion correction and multimodal image acquisition. The key contributions of this work include the design of a fully calibrated, multimodal camera array consisting of RGB, thermal and near infrared (NIR) cameras that exploits 3D camera geometry for multimodal mapping. This setup enables the projection of landmarks detected in RGB images onto thermal images for functional analysis. It has been used to record large-scale datasets to investigate remote screening for respiratory diseases. Furthermore, building on the insights from that study, this thesis introduces a new dense and multimodal RGB-thermal landmark detection approach that achieves state-of-the-art performance on challenging thermal images. High framerate RGB videos acquired with the multi-camera setup are a rich source to study microexpressions and micromovements in faces. One approach towards face analysis is the visualization of subtle motion by means of motion magnification. Building on identified limitations of existing motion magnification methods, this thesis introduces new Lagrangian approaches for facial motion magnification by fine tuning deep learning-based optical flow (OF) estimation specifically for faces and using OF field processing. These methods enable high-quality magnification of micromovements even with head motion. They allow for the extraction of distinct spatiotemporal movement components, as well as the decomposition into global and local facial movements.

While the goal of motion magnification is the visualization of movement, estimated motion can also be removed for motion correction. The second part of the thesis introduces innovative approaches for motion correction of 2-photon (2P) microscopy videos and linescans. To this end, variational optical flow estimation is revisited, and recent advances and data insights are integrated into a model that is specifically tailored to the unique statistics of 2P neuroimaging videos. The resulting motion correction toolbox, Flow-Registration, achieves state-of-the-art performance on challenging neuroimaging videos and novel synthetic benchmarks. By addressing limitations of existing methods for handling non-elastic deformations, such as those occurring during drug injections in tissue, and resolving them within a well-studied mathematical framework, Flow-Registration significantly advances the analysis of high-speed 2P videos. Insights into 2P motion statistics further lay the groundwork for a deep learning-based approach to 2P motion correction using synthetic label generation. Preliminary results suggest that this method achieves performance similar to Flow-Registration, particularly on synthetic benchmarks.

Die Nutzung von Bilddaten im Bereich der Neuro- und Biowissenschaften hängt eng mit der Entwicklung neuer Methoden in verwandten Wissenschaftsbereichen zusammen. Insbesondere Methoden des maschinellen Sehens werden häufig zuerst für RGB-Bilder entwickelt und sind für diese optimiert. Die Anwendung von Methoden wie beispielsweise dem optischen Fluss und tiefe neuronale Netze in den systemischen Neurowissenschaften und der biomedizinischen Bildgebung erfordert daher die Entwicklung von Methoden, die an die spezifischen Eigenschaften der biologischen Daten angepasst sind.

Diese Dissertation löst diese Herausforderungen für Anwendungen im Bereich der Gesichtsanalyse und der Neurobildgebung und entwickelt neue Methoden zur Bewegungsanalyse, Bewegungsvisualisierung, Bewegungskorrektur und der multimodalen Bildaufnahme. Ein wichtiger Beitrag dieser Arbeit stellt die Entwicklung eines vollständig kalibrierten, multimodalen Kamerasystems dar. Das System besteht aus RGB-, Wärmebild- und Nahinfrarotkameras (NIR). Mithilfe dreidimensionaler Kamerageometrie erlaubt es die präzise Zuordnung von Merkmalen zwischen den einzelnen Modalitäten. So können beispielsweise im RGB-Bild erkannte Bereiche leicht im Wärmebild identifiziert werden. Im Rahmen der Erforschung von Methoden zur kontaktlosen Erkennung von Atemwegsinfektionen wurde das Kamerasystem für die Aufnahme großer Datensätze eingesetzt und es wurden Ansätze zur Infektionserkennung damit untersucht. Während die Eignung des Systems für Aufnahmen außerhalb des Labors nachgewiesen wurde, hat diese Studie auch Limitierungen existierender Methoden für die automatische Identifizierung von Gesichtsmerkmalen (engl. landmarks) im Wärmebild hervorgehoben. Darauf aufbauend wird in dieser Dissertation ein neuer, multimodaler Ansatz für die Bestimmung von Gesichtsmerkmalen im RGB und Wärmebild entworfen. Auf einem anspruchsvollen Datensatz mit Wärmebildern erreicht die neue Methode dabei bessere Ergebnisse als der bisherige Stand der Wissenschaft. Ein weiterer Schwerpunkt dieser Arbeit ist die Entwicklung neuer Methoden zur Bewegungsverstärkung von Mikrobewegungen im Gesicht. Existierende Methoden haben Schwierigkeiten mit der Verstärkung solcher Mikrobewegungen, die während Kopfbewegungen auftreten können. Zu diesem Zweck werden neue Lagrange-Ansätze entwickelt und eine auf neuronalen Netzen basierende Methode zur Bestimmung des optischen Flusses für Gesichter mit einem neuen Ansatz optimiert. Die neuen Methoden zerlegen hierfür die berechneten Bewegungsfelder in getrennte Bewegungskomponenten, sowie in globale und lokale Bewegungen, die daraufhin unabhängig voneinander für die Visualisierung verarbeitet werden können und erreichen dabei eine sehr hohe, visuelle Qualität.

Während das Ziel der Bewegungsverstärkung die Visualisierung von Bewegungen ist, lässt sich der optische Fluss auch für die Korrektur von Bewegungen verwenden. Diese Dissertation stellt innovative Ansätze der Bewegungsstabilisierung für die 2-Photonen (2P) Mikroskopie in 1D und 2D vor. Dazu werden die spezifischen Eigenschaften von 2P Videos untersucht um damit ein variationelles Modell für die Bestimmung des optischen Flusses für 2P Mikroskopie zu entwickeln. Die so entwickelte Methode Flow-Registration übertrifft den bisherigen Stand der Wissenschaft bei der Bewegungskorrektur anspruchsvoller Videos. Flow-Registration stellt ein wichtiges Werkzeug für die Neurowissenschaften dar und darauf aufbauend wird in dieser Dissertation bereits ein neuer Ansatz zur Generierung synthetischer Label für das Training tiefer, neuronaler Netze für die Bewegungskompensation von 2P Aufnahmen vorgeschlagen. Vorläufige Ergebnisse zeigen dabei, dass diese Methode insbesondere auf synthetischen Benchmarks bereits eine ähnliche Leistung wie Flow-Registration erreicht.