Please use this identifier to cite or link to this item: doi:10.22028/D291-28588
Title: Model-based human performance capture in outdoor scenes
Author(s): Robertini, Nadia
Language: English
Year of Publication: 2019
DDC notations: 004 Computer science, internet
Publikation type: Doctoral Thesis
Abstract: Technologies for motion and performance capture of real actors have enabled the creation of realisticlooking virtual humans through detail and deformation transfer at the cost of extensive manual work and sophisticated in-studio marker-based systems. This thesis pushes the boundaries of performance capture by proposing automatic algorithms for robust 3D skeleton and detailed surface tracking in less constrained multi-view outdoor scenarios. Contributions include new multi-layered human body representations designed for effective model-based time-consistent reconstruction in complex dynamic environments with varying illumination, from a set of vision cameras. We design dense surface refinement approaches to enable smooth silhouette-free model-to-image alignment, as well as coarse-to-fine tracking techniques to enable joint estimation of skeleton motion and finescale surface deformations in complicated scenarios. High-quality results attained on challenging application scenarios confirm the contributions and show great potential for the automatic creation of personalized 3D virtual humans.
Technologien zur Bewegungs- und Verhaltenserfassung echter Schauspieler haben es ermöglicht, realistisch aussehende virtuelle Menschen zu erschaffen. Diese Technologien basieren auf Detail- und Deformationstransfers, entstanden aus umfangreicher Handarbeit und im Studio entwickelter, komplexer markerbasierter Systeme. Die vorliegende Arbeit sprengt die Grenzen der Verhaltenserfassung, indem sie automatische Algorithmen für ein robustes 3D-Skelett und detailliertes Oberflächen- Tracking in weniger eingeschränkten Outdoor-Szenarien mit Mehrfachansichten vorschlägt. Zu den Beiträgen gehören neue mehrschichtige Darstellungen des menschlichen Körpers, die für eine effektive modellbasierte und zeitlich konstante Rekonstruktion entwickelt wurden. Diese Darstellungen wurden in komplexen dynamischen Umgebungen mit unterschiedlicher Beleuchtung aus mehreren Vision-Kameras erzeugt. Die Ansätze zur Oberflächenverfeinerung einerseits ermöglichen eine ausgeglichene silhouettenfreie Ausrichtung des Modells an das Bild. Grobe bis feine Tracking-Techniken andererseits ermöglichen eine gemeinsame Schätzung von Skelettbewegungen und feinskaligen Oberflächendeformationen in komplexen Szenarien. Hochwertige Ergebnisse aus anspruchsvollen Anwendungsszenarien bestätigen die Beiträge und zeigen großes Potenzial für die automatische Erstellung von personalisierten virtuellen 3D-Menschen.
Link to this record: urn:nbn:de:bsz:291--ds-285887
hdl:20.500.11880/27667
http://dx.doi.org/10.22028/D291-28588
Advisor: Theobalt, Christian
Date of oral examination: 21-May-2019
Date of registration: 4-Sep-2019
Faculty: MI - Fakultät für Mathematik und Informatik
Department: MI - Informatik
Collections:SciDok - Der Wissenschaftsserver der Universität des Saarlandes

Files for this record:
File Description SizeFormat 
thesis-robertini.pdf111,58 MBAdobe PDFView/Open


Items in SciDok are protected by copyright, with all rights reserved, unless otherwise indicated.