(Un)Trustworthy data in adversarial machine learning

Abstract

Machine learning has become indispensable across various industries, driving innovation and enabling data-driven decision-making. At the core of this technology is the critical role of data, which is fundamental to model training and directly impacts performance. However, this reliance on data also exposes machine learning systems to vulnerabilities, particularly around privacy and security. In this dissertation, we explore the role of data in adversarial machine learning, focusing on two major challenges: data privacy leakage and data poisoning. First, we investigate privacy leakage in state-of-the-art models by proposing a membership inference attack against in-context learning. We show that even in restricted settings, it is possible to infer whether specific data points were used in training, posing significant risks in sensitive domains such as healthcare and finance. Next, we examine how data can be exploited as an attack surface, introducing a robust poisoning technique capable of bypassing current defenses. We also propose the first dynamic backdoor attack, which uses flexible triggers to evade detection, highlighting the need for stronger defense mechanisms. Finally, we conduct a systematic study on how data characteristics, such as data importance, affect the success of machine learning attacks. Our results suggest that adjusting data importance can either increase or reduce vulnerability, offering new strategies for both attacks and defenses. This dissertation contributes to a deeper understanding of adversarial dynamics, helping to build more secure and trustworthy machine learning systems.

Maschinelles Lernen ist in verschiedenen Branchen unverzichtbar geworden, da es Innovationen vorantreibt und datengetriebene Entscheidungsprozesse ermöglicht. Im Zentrum dieser Technologie steht die zentrale Rolle von Daten, die grundlegend für das Modelltraining sind und die Leistung direkt beeinflussen. Allerdings macht diese Abhängigkeit von Daten maschinelle Lernsysteme auch anfällig für Schwachstellen, insbesondere im Hinblick auf Datenschutz und Sicherheit. In dieser Dissertation untersuchen wir die Rolle von Daten im adversarialen maschinellen Lernen und konzentrieren uns dabei auf zwei große Herausforderungen: Datenschutzverletzungen und Datenvergiftung. Zunächst untersuchen wir Datenschutzverletzungen in modernen Modellen, indem wir einen Membership Inference Angriff gegen In-Context Learning vorschlagen. Wir zeigen, dass es selbst in eingeschränkten Umgebungen möglich ist, zu ermitteln, ob bestimmte Datenpunkte für das Training verwendet wurden, was erhebliche Risiken in sensiblen Bereichen wie Gesundheit und Finanzen birgt. Anschließend untersuchen wir, wie Daten als Angriffsfläche ausgenutzt werden können, indem wir eine robuste Vergiftungstechnik einführen, die derzeitige Abwehrmechanismen überwinden kann. Außerdem schlagen wir den ersten dynamischen Backdoor-Angriff vor, der flexible Trigger verwendet, um der Erkennung zu entgehen, und unterstreichen damit die Notwendigkeit stärkerer Abwehrmechanismen. Zum Schluss führen wir eine systematische Untersuchung durch, wie Datenmerkmale, wie etwa die Bedeutung von Daten, den Erfolg von Angriffen auf maschinelles Lernen beeinflussen. Unsere Ergebnisse deuten darauf hin, dass die Anpassung der Datenbedeutung entweder die Anfälligkeit erhöhen oder verringern kann, und bieten neue Strategien sowohl für Angriffe als auch für Verteidigungsmaßnahmen. Diese Dissertation trägt zu einem tieferen Verständnis der adversarialen Dynamiken bei und hilft, sicherere und vertrauenswürdigere maschinelle Lernsysteme zu entwickeln.