Data-driven methods for high-fidelity material appearance reproduction in additive 3D printing

Abstract

In this thesis, we address several key challenges in the realm of high-fidelity material-appearance reproduction. Despite significant recent advances in full-color 3D printing, reproducing many potential appearances remains a challenge due to the inherent translucency and scattering properties of commonly used print materials. This thesis develops a comprehensive 3D-printing preparation system tailored for multi-material inkjet 3D printers, focusing on overcoming these limitations. Our work begins by highlighting the limitations of current methods, which often result in blurred details and color bleeding due to subsurface scattering. We introduce an innovative iterative optimization approach that refines the volumetric arrangement of print materials to counteract these effects, enabling crisp and accurate color texture reproduction even in highly translucent media. To validate our method, we employ a general Monte Carlo simulation for light transport, supported by a practical calibration procedure to obtain scattering parameters of printer materials. Despite the medium's inherent translucency, objects fabricated using our system demonstrate superior detail preservation and color fidelity compared to native color texturing modes in commercial printers. The approach is applicable to general 3D geometries and effectively handles the challenging case of thin features, where material translucency and limited material deposition further complicate accurate reproduction. We propose a data-driven approach using deep neural networks to predict light scattering within heterogeneous materials. This method offers a dramatic speedup, performing around two orders of magnitude faster than traditional Monte Carlo simulations while maintaining high-quality optimization results. This breakthrough enables full heterogeneous material optimization within practical time frames, making it feasible to execute within the actual printing duration. Furthermore, we evaluate existing image quality metrics in their application to light field images to support future work on the fabrication of angularly and spatially varying appearances. We develop a new dense light-field dataset and derive subjective quality scaling through perceptual experiments, addressing typical artifacts arising from light-field processing. Our evaluation of existing quality metrics reveals the need for light-field-specific metrics to better predict perceived quality in complex tasks, and the developed dataset will aid in the future development of these specialized metrics.

In dieser Dissertation befassen wir uns mit mehreren schwerwiegenden Komplikationen im Bereich der hochpräzisen Reproduktion vom Aussehen von Materialien. Trotz merklicher Fortschritte im Vollfarb-3D-Druck bleibt die Reproduktion vieler Erscheinungen aufgrund der inhärenten Transluzenz und Streueigenschaften der häufig verwendeten Druckmaterialien bisher ungelöst. Diese Arbeit entwickelt ein umfassendes Vorbereitungssystem für den 3D-Druck, das speziell auf 3D-Mehrmaterial- Tintenstrahldrucker zugeschnitten ist und das Ziel hat, diese Schwierigkeiten zu überwinden. Unsere Arbeit beginnt mit dem Aufzeigen der Grenzen aktueller Methoden, die oft zu verschwommenen Details und Farbverläufen aufgrund von Streuung unterhalb der Oberfläche führen. Wir stellen einen innovativen iterativen Optimierungsansatz vor, der die volumetrische Anordnung der Druckmaterialien verfeinert um diesen Effekten entgegenzuwirken und eine klare und genaue Farbwiedergabe auch in hochtransluzenten Medien zu ermöglichen. Zur Validierung unserer Methode verwenden wir eine allgemeine Monte-Carlo- Simulation für den Lichttransport, die durch ein praktisches Kalibrierungsverfahren zur Ermittlung der Streuparameter der Druckmaterialien unterstützt wird. Trotz der inhärenten Transluzenz des Mediums zeigen Objekte, die mit unserem System gefertigt wurden, höhere Detailgenauigkeit und bessere Farbtreue im Vergleich zu den nativen Farbtexturierungsmodi kommerzieller Drucker. Der Ansatz ist auf allgemeine 3D-Geometrien anwendbar und bewältigt sogar die Hürde dünner Strukturen, bei denen die Materialtransluzenz und der begrenzte Materialauftrag die genaue Reproduktion weiter erschweren. Wir schlagen einen datenbasierten Ansatz unter Verwendung tiefer neuronaler Netzwerke vor, um die Lichtstreuung in heterogenen Materialien vorherzusagen. Diese Methode bietet eine erhebliche Beschleunigung und ist etwa zwei Größenordnungen schneller als herkömmliche Monte-Carlo-Simulationen, während sie gleichzeitig hochwertige Optimierungsergebnisse beibehält. Dieser Durchbruch ermöglicht eine vollständige heterogene Materialoptimierung in praktikablen Zeitrahmen, sogar während des 3D-Drucks. Darüber hinaus bewerten wir bestehende Bildqualitätsmetriken in ihrer Anwendung auf Lichtfeldbilder, um zukünftige Arbeiten zur Herstellung von winklig und räumlich variierenden Erscheinungen zu unterstützen. Wir entwickeln einen neuen dichten Lichtfeld-Datensatz und leiten per menschlicher Wahrnehmung eine Qualitätsskalierung ab, die typische Bildfehler der Lichtfeldverarbeitung adressiert. Unsere Bewertung der bestehenden Qualitätsmetriken zeigt die Notwendigkeit lichtfeldspezifischer Metriken, um die wahrgenommene Qualität in komplexen Aufgaben besser vorherzusagen; der hier entwickelte Datensatz wird die zukünftige Entwicklung dieser Metriken unterstützen.