Interactive, example-driven synthesis and manipulation of visual media

Abstract

This thesis proposes several novel techniques for interactive, example-driven synthesis and manipulation of visual media. The numerous display devices in our everyday lives make visual media, such as images, videos, or three-dimensional models, easily accessible to a large group of people. Consequently, there is a rising demand for efficient generation of synthetic visual content and its manipulation, especially by casual users operating on low-end, mobile devices. Off-the-shelf software supporting such tasks typically requires extensive training and in-depth understanding of the underlying concepts of content acquisition, on the one hand, and runs only on powerful desktop machines, on the other hand, limiting the possibility of artistic media generation to a small group of trained experts with appropriate hardware. Our proposed techniques aim to alleviate these requirements by allowing casual users to synthesize complex, high-quality content in real-time as well as to manipulate it by means of simple, example-driven interactions. First, this thesis discusses a manipulation technique that visualizes an additional level of information, such as importance, on images and three-dimensional surface models by local, non-uniform, and self-intersection-free size manipulations. Second, we propose a technique to automatically arrange and sort collections of images based on the images’ shape and a sparse set of exemplar images that builds on a novel distribution algorithm. Along this line, an extension for higher dimensions such as three-dimensional models is presented and the implications of distributions for lower-dimensional projections are discussed. Further, the spectral properties of the distributions are analyzed and the results are applied for efficient, high-quality image synthesis. Finally, we suggest an algorithm to extract deformable, three dimensional content from a two-dimensional video leveraging a simple limb representation that the user sketches onto a sparse set of keyframes. All methods build on the availability of massively parallel execution hardware, such as graphics processing units (GPUs), nowadays built also into cheap mobile devices. By mathematical abstraction, parallelization, and task distribution our algorithms achieve a high efficiency that allows running our methods in real-time on low-end devices.

Die vorliegende Dissertation stellt mehrere neuartige Techniken zur interaktiven, beispielbasierten Synthese und Manipulation visueller Medien vor. Die zunehmende Verbreitung von Wiedergabegeräten macht visuelle Medien – wie Bilder, Videos oder dreidimensionale Oberflächen – einer Vielzahl von (Privat-)Nutzern zugänglich. Folglich gibt es auch im Alltagsbereich einen wachsenden Bedarf an effizienter Synthese und Bearbeitung visueller Medien unter Zuhilfenahme weitverbreiteter, mobiler Endgeräte. Handelsübliche Software, die in der Lage ist, diese Aufgaben umzusetzen, setzt in der Regel langwierige Schulungen sowie ein tiefgreifendes Verständnis der zugrundeliegenden Konzepte zur Inhaltserzeugung voraus. Auf der anderen Seite lässt sich diese Software nur auf leistungsstarken Arbeitsplatzcomputern ausführen, wodurch die Möglichkeit künstlerischer Medienerzeugung auf eine kleine Gruppe gut ausgebildeter Experten mit passender Hardware beschränkt wird. Die im Rahmen dieser Arbeit entwickelten Techniken haben das Ziel, die Hürden für private Endnutzer herabzusetzen, indem sie Gelegenheitsnutzern ermöglichen, komplexe Inhalte von hoher Qualität mit Hilfe von einfachen, beispielbasierten Interaktionen in Echtzeit zu synthetisieren und zu manipulieren. Zunächst wird eine Manipulationstechnik präsentiert, bei der es darum geht, ein weiteres Level an Informationen, wie z. B. Gewicht, auf Bildern und dreidimensionalen Modellen durch lokale, ungleichförmige und selbstüberschneidungsfreie Größenmanipulationen zu visualisieren. Anschließend stellen wir eine Technik vor, die auf einem neuartigen Verteilungsalgorithmus beruht und Bildersammlungen automatisch anhand der Form der Bilder sowie einer kleinen Menge von Beispielbildern arrangiert. In diesem Kontext stellen wir eine Erweiterung für höhere Dimensionen, wie z. B. dreidimensionale Oberflächen, vor und diskutieren die Implikationen der Verteilungen auf geringer-dimensionale Projektionen. Weiterhin werden die spektralen Eigenschaften der Verteilungen analysiert und zur effizienten, hochqualitativen Bildsynthese eingesetzt. Schließlich schlagen wir einen Algorithmus zur Extraktion deformierbarer, dreidimensionaler Inhalte aus zweidimensionalen Videos vor, der auf einer simplen Repräsentation von Körperteilen beruht, die der Nutzer in einigen wenigen Schlüsselbildern skizziert. Alle Methoden basieren auf der Verfügbarkeit von hochgradig paralleler Hardware, wie z.B. eine Grafikkarte (GPU), die heutzutage auch in günstigen, mobilen Geräten verbaut wird. Durch mathematische Abstraktion, Parallelisierung und Aufgabenverteilung erreichen unsere Algorithmen eine hohe Effizienz, die es erlaubt die Techniken in Echtzeit auf diesen mobilen Geräten auszuführen.