Retrieval-based approaches for tracking and reconstructing human motions

Abstract

Tracking, reconstructing, and analyzing human motions constitute central topics in computer vision and computer graphics. Although marker-less motion tracking has been an active research field for more than two decades, there are still major challenges, in particular when dealing with only few cameras, noise in the image data, occlusions, or fast motions. In this thesis, we introduce novel approaches for increasing the stability, accuracy, and efficiency of marker-less human motion tracking and 3D human pose reconstruction. As one common underlying concept, the presented approaches contain a retrieval component making use of database knowledge in the form of previously recorded marker-based motion capture (mocap) data. In particular, we contribute to three different areas dealing with various types of sensors including video cameras, optical mocap systems, inertial sensors, and depth cameras. Firstly, we introduce content-based retrieval techniques for automatically segmenting and annotating mocap data that is originally provided in form of unstructured data collections. Secondly, we show how such robust annotation procedures can be used to support and stabilize marker-less motion tracking. Thirdly, we develop algorithms for reconstructing human motions from noisy depth sensor data in real-time. In all these contributions, a particular focus is put on efficiency issues in order to keep the run time as low as possible.

Die Analyse und Rekonstruktion von menschlichen Bewegungen aus Sensordaten stellt ein zentrales Thema in den Forschungsgebieten der Computer Vision und Computergrafik dar. Insbesondere die markerfreie Bewegungsschätzung aus Bilddaten weist trotz langjähriger Forschungsaktivitäten noch Defizite auf, die primär bei schnellen Bewegungen oder verrauschten und unvollständigen Sensordaten sichtbar werden. In dieser Arbeit führen wir neue Ansätze zur markerfreien Rekonstruktion menschlicher Bewegungen ein, welche den aktuellen Stand der Forschung im Hinblick auf Stabilität, Genauigkeit und Effizienz signifikant erweitern. Dazu entwickeln wir datengetriebene Methoden, die Vorwissen in Form von Bewegungsdatenbanken nutzen. Insbesondere tragen wir zu drei Teilgebieten bei, die sich mit der Analyse und der Rekonstruktion menschlicher Bewegungen aus Sensordaten von Videokameras, optischen Motion Capture-Systemen, Inertialsensoren und Tiefenkameras beschäftigen. Zunächst erforschen wir inhaltsbasierte Retrieval- und Annotationstechniken im Hinblick auf die Identifikation und Extraktion von geeigneten Ausschnitten aus unstrukturierten Sammlungen von Bewegungsdaten. Dann zeigen wir, wie Retrievaltechniken zur Stabilisierung von markerfreiem Tracking eingesetzt werden können. Schließlich entwickeln wir Algorithmen zur Rekonstruktion von menschlichen Bewegungen in Echtzeit aus verrauschten Tiefendaten. In allen Teilen dieser Arbeit spielen Effizienzaspekte eine große Rolle und es werden schnelle Algorithmen entwickelt und implementiert.