Towards comprehensive security assessment in machine learning pipelines

Abstract

Maschinelles Lernen (ML) ist zu einem wesentlichen Bestandteil verschiedener kritischer Anwendungen geworden. Da ML-Modelle zunehmend eingesetzt werden, sind sie auch einer steigenden Anzahl von Angriffen ausgesetzt, die auf verschiedene Phasen der ML-Pipeline abzielen. Diese Pipeline kann grob in drei Phasen unterteilt werden: für das Training verwendete Daten, Modellparameter und die Ergebnisse des trainierten Modells. In dieser Arbeit führen wir eine gründliche Bewertung der Sicherheit maschinellen Lernens durch und untersuchen sie anhand dieser drei Phasen. Wir befassen uns zunächst mit der Datensicherheit und konzentrieren uns dabei insbesondere auf Backdoor-Angriffe durch Datenvergiftung. Wir zeigen, dass solche Angriffe mit einfachen Feinabstimmungsmethoden effektiv abgeschwächt werden können, und beweisen, dass die getesteten Backdoor-Angriffe nicht robust gegenüber einfachen Feinabstimmungsansätzen sind. Als nächstes untersuchen wir die Modellsicherheit, indem wir Modelldiebstahlangriffe untersuchen. Ziel dieser Angriffe ist es, die Funktionalität eines Zielmodells mit minimalen Kosten und Rechenressourcen zu reproduzieren. Wir führen neuartige Modelldiebstahltechniken ein, die speziell auf kontrastive Lernmodelle abzielen, und entwickeln adaptive Abwehrmaßnahmen, um diesen Bedrohungen entgegenzuwirken. Abschließend wenden wir uns den Ergebnissen des Modells zu. Hier befassen wir uns mit der Erkennung und Zuordnung gefälschter Bilder und schlagen innovative Erkennungsmethoden vor, die Eingabeaufforderungen nutzen, um die Leistung zu verbessern. Dieser vielschichtige Ansatz ermöglicht es uns, die Sicherheit maschinellen Lernens aus einer umfassenden Perspektive anzugehen und alle kritischen Phasen der ML-Pipeline abzudecken.

Machine learning (ML) has become an essential component in various critical applications. As ML models are increasingly deployed, they also face a rising number of attacks targeting different stages of the ML pipeline. This pipeline can broadly be divided into three phases: data used for training, model parameters, and the outputs of the trained model. In this dissertation, we conduct a thorough evaluation of machine learning security, examining it through the lens of these three stages. We begin by addressing data security, focusing particularly on backdoor attacks through data poisoning. We demonstrate that such attacks can be effectively mitigated with simple fine-tuning methods, proving that the backdoor attacks tested lack robustness against straightforward fine-tuning approaches. Next, we explore model security by investigating model stealing attacks. These attacks aim to replicate the functionality of a target model with minimal costs and computational resources. We introduce novel model stealing techniques specifically targeting contrastive learning models and develop adaptive defenses to counteract these threats. Lastly, we turn our attention to the outputs of the model. Here, we delve into the detection and attribution of fake images, proposing innovative detection methods that utilize prompts to enhance performance. These multifaceted approaches allow us to tackle machine learning security from a comprehensive perspective, spanning all critical stages of the ML pipeline.