Provision of multi-camera footage for professional production and consumer environments

Abstract

Multi-camera footage contains much more data in comparison to that of conventional video. While the additional data enables a number of new effects that previously required a large amount of CGI magic and manual labor to achieve, it can easily overpower consumer hardware and networks. In this thesis, we explore the necessary steps to create an interactive multiview streaming system, from the cameras via the compression and streaming of the material, to the view interpolation to create immersive perspective shifts for viewers. By only using freely available consumer hardware, and making sure all steps can run in real-time, in combination with the others, the benefits of multi-camera video are made available to a wider public. With the construction of a modular camera array for lightfield recording, we highlight the most important properties of such an array to allow for good post-processing of the recorded data. This includes a flexible yet sturdy frame, the management of computational and storage resources, as well as the required steps to make the raw material ready for further processing. The Unfolding scene displays the possibilities of lightfields when a good camera array is combined with the talent of professional visual effect artists for the creation of future cinematic movies. Furthermore, we explore the benefits of 5D-lightfield video for scenes with fast motion, using precisely controlled time delays between the shutters of different cameras in the capturing array.

Multi-Kamera-Aufnahmen enthalten wesentlich mehr Daten als konventionelles Video. Auch wenn diese zus¨atzlichen Daten zahlreiche neue Effekte ermöglichen die bisher nur mit künstlichen CGI-Effekten und viel Handarbeit machbar waren, kann ihre Größe die Hardware und Netzwerke normaler Verbraucher schnell überlasten. In dieser Arbeit stellen wir die Schritte vor die nötig sind um ein interaktives Multiview-System zu erstellen. Dies beinhaltet alles von der Kamera über die Komprimierung und Übertragung des Materials, bis hin zur Ansichtsinterpolation mit der perspektivische Änderungen auf dem Empfänger berechnet werden können. Indem wir uns auf Endnutzer-Hardware beschränken und alle Schritte darauf in Echtzeit ablaufen lassen, machen wir die Vorzüge von Multi-Kamera-Aufnahmen für ein breiteres Publikum erfahrbar. Mit der Konstruktion eines modularen Kamera-Arrays zeigen wir auf welche Eigenschaften nötig sind um das Material mit hoher Qualität verarbeiten zu können. Dabei werden der flexible aber stabile Rahmen, die Verwaltung der Speicher- und Rechner-Ressourcen, sowie die Vorverabeitung besprochen. Die Unfolding-Szene zeigt Möglichkeiten von Lichtfeldern für zukünftige Filmproduktionen auf, wenn gute Aufnahmen mit dem Talent von Experten für visuelle Effekte kombiniert werden. Darüber hinaus diskutieren wir die Vorteile von 5D-Lichtfeldern mit präzise kontrollierter Verzögerung zwischen den Auslösern der Kameras in Szenen mit sehr schnellen Bewegungen.