Capturing and simulating realistic pedestrian movements

Abstract

The motions of pedestrians are complex and highly variable. Autonomous vehicles must interact safely and reliably with pedestrians, but real-world testing poses ethical challenges. Thus, a digital simulation is required. While sensor simulation has progressed significantly, pedestrian motion simulation still relies on unrealistic game animations that do not visualize the necessary cues for identifying crossing decisions correctly. This thesis introduces new methods to capture pedestrian motion required to simulate realistic pre-crash scenarios. Several studies with over 150 participants in real and virtual environments analyzed the motion and behavior before a crossing. The studies include comparing cultural differences between German and Japanese pedestrians and investigating experiments with children. Several data-driven motion synthesis approaches are presented: extending phase-functioned neural networks to recreate natural styles of male and female pedestrians, improving mixture-of-expert models to increase the natural variance in locomotion, and extending them with multi-action control for gaze, foot placement, and hand movement. A generative model is presented that uses reinforcement learning to control and animate pedestrians avoiding each other in crowds. A solution to retarget the generated motions to different character meshes is presented. The MOSIM Framework is introduced to integrate pedestrians into the famous driving simulator CARLA.

Fußgängerbewegungen sind komplex und variabel. Autonome Fahrzeuge müssen sicher und zuverlässig mit Fußgängern interagieren, aber Tests mit realen Menschen sind ethisch schwierig, weshalb eine digitale Simulation benötigt wird. Während die Sensor-Simulation bereits fortgeschritten ist, basieren Fußgängeranimationen meist auf unrealistischen Spiel-Animationen ohne die notwendigen Hinweisreize um eine Überquerungsentscheidung korrekt zu identifizieren. Diese Dissertation stellt Methoden zur Erfassung und Simulation von Fußgängerbewegungen in Pre-Crash-Situationen vor. In mehreren Studien mit über 150 Teilnehmern in realen und virtuellen Umgebungen wurden die Bewegungen und das Verhalten analysiert, unter anderem zwischen deutschen und japanischen Fußgängern und von Kindern. Mehrere datengetriebene Animationsmodelle werden vorgestellt: ein phasen-interpolierendes neuronales Netz wurde erweitert, um natürliche Bewegungen von Männern und Frauen zu erzeugen. Mixture-of-Expert Modelle wurden erweitert, um die Varianz der erzeugten Bewegung zu erhöhen und die Kontrolle der Blickrichtung, der Fußplatzierung und von Handbewegungen zu ermöglichen. Mithilfe von verstärkendem Lernen wird ein generatives Modell kontrolliert, um Ausweichbewegungen von Fußgängern in Menschenmengen zu simulieren. Ein Ansatz zum Übertragen von Bewegungen auf verschiedene Charaktermodelle wurde implementiert. Das MOSIM Framework wird präsentiert und dazu genutzt, Fußgänger in dem CARLA-Fahrsimulator zu animieren.