Efficient methods for inpainting-based image compression

Abstract

This thesis is dedicated to image compression methods that optimise and store a small subset of the image pixels, called the mask, and reconstruct the rest of the image through inpainting. Inpainting is the general term for filling in missing or damaged parts of an image. However, saving fully optimised pixel positions is expensive and has, till now, received little attention. We propose two new families of codecs specifically addressing this problem that offer better performance or a better trade-off between speed and performance. We achieve this by extensively evaluating existing image and data compression methods, understanding their most successful principles and combining them to form new codecs. Inpainting-based image compression methods have long since employed partial differential equations for their inpainting method. They offer good reconstruction quality in most cases. However, naive implementations are very slow, requiring significant efforts to be sped up. In this thesis, we explore Shepard inpainting as a simple and efficient alternative. By considering data selection and extensions such as anisotropy, we propose our own Shepard-inpainting-based compression methods that offer a good mix of simplicity, efficiency, and quality. Multi-channel images are encountered more than single-channel images today. However, very few inpainting-based codecs have dedicated colour modes. We propose colour extensions for Shepard inpainting, including a luma-preference mode and a vector quantisation mode that has not yet been proposed. The resulting codecs offer better compression performance than the base RGB mode on colour images. This thesis tries to present efficient and better methods to compress fully optimised masks and to see how far one can go with a simple but efficient operator such as Shepard inpainting.

Diese Dissertation beschäftigt sich mit Bildkompressionsmethoden, die eine kleine Teilmenge der optimierten Bildpixel, die sogenannte Maske, speichern und den Rest des Bildes durch Inpainting rekonstruieren. Inpainting ist der allgemeine Begriff für die Rekonstruktion fehlender oder beschädigter Teile eines Bildes. Das Speichern vollständig optimierter Pixelpositionen ist jedoch teuer und wurde bisher wenig beachtet. Wir führen zwei neue Codec-Familien ein, die sich speziell diesem Problem widmen und eine bessere Leistung oder einen besseren Kompromiss zwischen Geschwindigkeit und Leistung bieten. Wir erreichen dies, indem wir bestehende Bild- und Datenkompressionsmethoden umfassend evaluieren und ihre erfolgreichsten Prinzipien kombinieren, um neue Methoden zu entwickeln. Inpainting-basierte Bildkompressionsmethoden verwenden seit langem partielle Differentialgleichungen für das Inpainting. Sie bieten in den meisten Fällen eine gute Rekonstruktionsqualität. Naive Implementierungen sind jedoch sehr langsam und erfordern erhebliche Anstrengungen, um sie zu beschleunigen. Diese Arbeit untersucht Shepard-Inpainting als einfache und effiziente Alternative. Unter Berücksichtigung der Datenauswahl und Erweiterungen wie Anisotropie führen wir unsere eigenen, auf Shepard-Inpainting basierenden Kompressionsmethoden ein, die eine gute Mischung aus Einfachheit, Effizienz und Qualität bieten. Nur wenige auf Inpainting basierende Codecs verfügen über dedizierte Farbmodi, obwohl Farbbilder beliebter sind. Wir führen Farbmodi für Shepard-Inpainting ein, darunter einen Luma-Präferenzmodus und einen Modus mit Vektorquantisierung. Die daraus resultierenden Methoden bieten bei Farbbildern eine verbesserte Kompressionsleistung gegenüber dem Standardverfahren. Diese Dissertation versucht, effiziente und bessere Methoden zum Komprimieren vollständig optimierter Masken vorzustellen und zu sehen, wie weit man mit einem einfachen, aber effizienten Inpainting-Operator wie Shepard-Inpainting kommen kann.