Smarter screen space shading

Abstract

This dissertation introduces a range of new methods to produce images of virtual scenes in a matter of milliseconds. Imposing as few constraints as possible on the set of scenes that can be handled, e.g., regarding geometric changes over time or lighting conditions, precludes pre-computations and makes this a particularly difficult problem. We first present a general approach, called deep screen space, using which a variety of light transport aspects can be simulated within the aforementioned setting. This approach is then further extended to additionally handle scenes containing participating media like clouds. We also show how to improve the correctness of deep screen space and related algorithms by accounting for mutual visibility of points in a scene. After that, we take a completely different point of view on image generation using a learning-based approach to approximate a rendering function. We show that neural networks can hallucinate shading effects which otherwise have to be computed using costly analytic computations. Finally, we contribute a holistic framework to deal with phosphorescent materials in computer graphics, covering all aspects from acquisition of real materials, to easy editing, to image synthesis.

Diese Dissertation stellt eine Reihe neuer Methoden vor, um Bilder virtueller Szenen innerhalb von Millisekunden zu erzeugen. Die Beschränkung auf so wenige Annahmen wie möglich hinsichtlich der zu verarbeitenden Szenen, z.B. was Änderungen der Geometrie oder der Beleuchtung angeht, macht Vorberechnungen unmöglich und erschwert das Gesamtproblem. Wir beschreiben zunächst einen allgemeinen Ansatz, von uns Deep-Screen-Space genannt, mit dem viele Lichttransportaspekte innerhalb des oben genannten Rahmens simuliert werden können. Dieser Ansatz wird dann auf Szenen, die trübe Medien enthalten, erweitert. Wir zeigen außerdem, wie die Genaugikeit der Deep-Screen-Space-Methode und verwandter Algorithmen durch Berücksichtigung der gegenseitigen Sichtbarkeit von Punkten in einer Szene verbessert werden kann. Danach betrachten wir das Problem der Bildsynthese von einem komplett anderen Blickwinkel und nähern eine Renderingfunktion mithilfe von Maschinenlernen an. Wir zeigen, dass neuronale Netzwerke Beleuchtungseffekte, die sonst auf kostspielige Weise analytisch berechnet werden müssen, unmittelbar halluzinieren können. Zuletzt stellen wir eine ganzheitliche Methodik zum Umgang mit phosphoreszenten Materialien in der Computergrafik vor, die alle Aspekte, von der Ausmessung echter Materialien, über eine einfache Bearbeitung dieser, bis hin zur Bildsynthese, abdeckt.