Dynamic and groupwise statistical analysis of 3D faces

Abstract

This thesis proposes several methods to statistically analyze static and dynamic 3D face data. First, we present a fully-automatic method to robustly register entire facial motion sequences. The representation of the 3D facial motion sequences obtained by the registration allows us to perform statistical analysis of 3D face shapes in motion. We then introduce a new localized multilinear model that is able to capture fine-scale details while being robust to noise and partial occlusions. To obtain a suitable registration for multilinearly distributed data, we introduce a groupwise correspondence optimization method that jointly optimizes a multilinear model and the registration of the 3D scans used for training. To robustly learn a multilinear model from 3D face databases with missing data, corrupt data, wrong semantic correspondence, and inaccurate vertex correspondence, we propose a robust model learning framework that jointly learns a multilinear model and fixes the data. Finally, we present one application of our registration methods, namely to obtain a sizing system that incorporates the shape of an identity along with its motion. We introduce a general framework to generate a sizing system for dynamic 3D motion data.

Diese Dissertation stellt mehrere Methoden zur statistischen Analyse statischer und dynamischer 3D Gesichtsdaten vor. Zuerst präsentieren wir eine vollautomatische Methode zur Registrierung kompletter Bewegungsabläufe von Gesichtern. Die Darstellung der 3D Sequenzen durch die Registrierungsmethode ermöglicht die statistische Analyse der bewegten Gesichtsdaten. Anschließend stellen wir ein lokalisiertes multilineares Modell vor, das kleine geometrische Details rekonstruieren kann und robust gegenüber von Störungen und teilweisen Verdeckungen ist. Um eine geeignete Registrierung für multilinear verteilte Daten zu erhalten, präsentieren wir ein gruppenbasiertes Optimierungsverfahren, das gleichzeitig ein multilineares Modell lernt und die Registrierung der 3D Trainingsdaten optimiert. Um ein multilineares Modell robust von 3D Gesichtsdaten mit fehlenden Einträgen, korrupten Daten, fehlerhafter semantischer Korrespondenz und ungenauer Punktkorrespondenz zu lernen, stellen wir ein Verfahren vor, das gleichzeitig ein multilineares Modell lernt und die Daten repariert. Schlussendlich präsentieren wir eine Anwendung unserer Registrierungsmethoden. Wir stellen ein generelles Verfahren vor, um Standard-Größenreihen für dynamische 3D Gesichter zu berechnen, das sowohl die Gestalt als auch die Dynamik der Gesichtsdaten berücksichtigt.