Image manipulation against learned models : privacy and security implications

Abstract

Machine learning is transforming the world. Its application areas span privacy sensitive and security critical tasks such as human identification and self-driving cars. These applications raise privacy and security related questions that are not fully understood or answered yet: Can automatic person recognisers identify people in photos even when their faces are blurred? How easy is it to find an adversarial input for a self-driving car that makes it drive off the road? This thesis contributes one of the first steps towards a better understanding of such concerns. We observe that many privacy and security critical scenarios for learned models involve input data manipulation: users obfuscate their identity by blurring their faces and adversaries inject imperceptible perturbations to the input signal. We introduce a data manipulator framework as a tool for collectively describing and analysing privacy and security relevant scenarios involving learned models. A data manipulator introduces a shift in data distribution for achieving privacy or security related goals, and feeds the transformed input to the target model. This framework provides a common perspective on the studies presented in the thesis. We begin the studies from the user's privacy point of view. We analyse the efficacy of common obfuscation methods like face blurring, and show that they are surprisingly ineffective against state of the art person recognition systems. We then propose alternatives based on head inpainting and adversarial examples. By studying the user privacy, we also study the dual problem: model security. In model security perspective, a model ought to be robust and reliable against small amounts of data manipulation. In both cases, data are manipulated with the goal of changing the target model prediction. User privacy and model security problems can be described with the same objective. We then study the knowledge aspect of the data manipulation problem. The more one knows about the target model, the more effective manipulations one can craft. We propose a game theoretic manipulation framework to systematically represent the knowledge level on the target model and derive privacy and security guarantees. We then discuss ways to increase knowledge about a black-box model by only querying it, deriving implications that are relevant to both privacy and security perspectives.

Maschinelles Lernen verändert die Welt. Die Anwendungsbereiche umfassen datenschutzrelevante und sicherheitskritische Aufgaben wie die Personenidentifikation und selbstfahrende Autos. Diese Anwendungen werfen Fragen zum Datenschutz und zur Sicherheit auf, die noch nicht vollständig verstanden oder beantwortet sind: Können Personen auf Fotos durch automatische Personenidentifikation erkannt werden, selbst wenn ihre Gesichter verschwommen sind? Wie leicht ist es, eine feindliche Eingabe für ein selbstfahrendes Auto zu finden, die es von der Straße drängt? Diese Arbeit trägt zu einem der ersten Schritte bei, um solche Probleme besser zu verstehen. Wir beobachten, daß viele datenschutz- und sicherheitskritische Szenarien für gelernte Modelle die Manipulation von Eingabedaten beinhalten: Benutzer verschleiern ihre Identität, indem sie ihre Gesichter unkenntlich machen, und Widersacher fügen dem Eingabesignal unmerkliche Störungen hinzu. Wir stellen ein Datenmanipulator-System als Werkzeug zur gemeinsamen Beschreibung und Analyse von datenschutz- und sicherheitsrelevanten Szenarien mit erlernten Modellen vor. Ein Datenmanipulator führt eine Verschiebung in der Datenverteilung ein, um Ziele bezüglich des Datenschutzes oder der Sicherheit zu erreichen, und leitet die transformierten Eingaben dem Zielmodell zu. Dieses System bietet eine gemeinsame Perspektive auf die in der Arbeit vorgestellten Studien. Wir beginnen mit den Studien aus Sicht des Datenschutzes für den Benutzer. Wir analysieren die Wirksamkeit gängiger Verschleierungstechniken wie Gesichtsunschärfe und zeigen, daß sie überraschenderweise gegen moderne Personenerkennungssysteme unwirksam sind. Wir schlagen dann Alternativen vor, die auf Einfärben des Kopfes und Beispielen für feindliche Eingaben basieren. Durch das Studium des Benutzerdatenschutzes untersuchen wir auch das duale Problem: Modellsicherheit. Aus Sicht der Modellsicherheit sollte ein Modell robust und zuverlässig gegenüber kleinen Datenmanipulationen sein. In beiden Fällen werden Daten manipuliert mit dem Ziel, die Zielmodellvorhersage zu ändern. Probleme hinsichtlich des Benutzerdatenschutzes und der Modellsicherheit können mit demselben Ziel beschrieben werden. Abschließend untersuchen wir den Wissens-Aspekt des Datenmanipulationsproblems. Je mehr man über das Zielmodell weiß, desto effektiver können Manipulationen durchgeführt werden. Wir schlagen ein spieltheoretisches Manipulationssystem vor, um das Wissensniveau auf dem Zielmodell systematisch darzustellen und Datenschutz- und Sicherheitsgarantien abzuleiten. Wir diskutieren dann Wege zur Wissenserweiterung über ein Black-Box-Modell, indem wir Ergebnisse von Anfragen dazu nutzen, Implikationen abzuleiten, die sowohl aus Sicht des Datenschutzes als auch der Sicherheit relevant sind.