How to train your renderer : optimized methods for learning path distributions in Monte Carlo light transport

Abstract

Light transport simulation allows us to preview architectural marvels before they break ground, practice complex surgeries without a living subject, and explore alien worlds from the comfort of our homes. Fueled by the steady advancements in computer hardware, rendering virtual scenes is more accessible than ever, and is met by an unprecedented demand for such content. Light interacts with our world in various intricate ways, hence the challenge in realistic rendering lies in tracing all the possible paths that light could take within a given virtual scene. Contemporary approaches predominantly rely on Monte Carlo integration, for which countless sampling procedures have been proposed to handle certain families of effects robustly. Handling all effects holistically through specia-lized sampling routines, however, remains an unsolved problem. A promising alternative is to use learning techniques that automatically adapt to the effects present in the scene. However, such approaches require many complex design choices to be made, which existing works commonly resort to heuristics for. In this work, we investigate what constitutes effective learning algorithms for rendering – from data representation and the quantities to be learned, to the fitting process itself. By strategically optimizing these components for desirable goals, such as overall render efficiency, we demonstrate significant improvements over existing approaches.

Die Simulation von Licht ermöglicht es uns, architektonische Meisterwerke noch vor deren Errichtung zu visualisieren, komplexe chirurgische Eingriffe ohne lebendes Subjekt zu üben, und immersive Fantasiewelten bequem vom Sofa aus zu erleben. Angefeuert durch den stetigen technologischen Fortschritt sind solche Anwendungen nun weiter verbreitet und gefragter denn je. Licht interagiert auf vielschichtige Weise mit unserer Welt – eine Herausforderung, die bei der realistischen Simulation virtueller Szenen vollständig berücksichtigt werden muss. Moderne Algorithmen zur Bildsynthese bauen nahezu ausschließlich auf Monte Carlo Integration auf, wofür bereits zahlreiche Sampling Routinen publiziert wurden, die einzelne Lichteffekte robust händeln können. Eine ganzheitliche Simulation aller möglichen Effekte bleibt jedoch weiterhin ein ungelöstes Problem. Eine vielversprechende Alternative ist der Einsatz von lernbasierten Verfahren, die das Sampling adaptiv an die spezifischen Eigenschaften der Szene anpassen. Solche Verfahren erfordern jedoch viele komplexe Entwurfsentscheidungen, für welche existierende Werke zumeist auf heuristische Annahmen zurückgreifen. In dieser Arbeit analysieren wir, was erfolgreiche Lernverfahren auszeichnet – von der Datenrepräsentation, über die zu lernenden Größen, bis hin zum Fitting der Modelle selbst. Mittels strategischer Optimierung der einzelnen Komponenten für relevante Metriken, wie beispielsweise die Konvergenzgeschwindigkeit der Simulation, demonstrieren wir signifikante Verbesserungen über existierenden Ansätzen.