Designing fair decision-making systems

Abstract

The impact of algorithmic decision-making systems on individuals has raised significant interest in addressing fairness concerns within such systems. Designing fair systems entails several critical components, which have garnered considerable attention from the research community. However, notable gaps persist in three key components. Specifically, in this thesis, we address gaps in following components: i) evaluating existing approaches and systems for (un)fairness, ii) updating deployed algorithmic systems fairly, and iii) designing new decision-making systems from scratch. Firstly, we evaluate fairness concerns within foundation models. The primary challenge is that fairness definitions are task-specific while foundation models can be used for diverse tasks. To address this problem, we introduce a broad taxonomy to evaluate the fairness of popular foundation models and their popular bias mitigation approaches. Secondly, we tackle the issue of fairly updating already deployed algorithmic decision-making systems. To this end, we propose a novel notion of update-fairness and present measures and efficient mechanisms to incorporate this notion in binary classification. However, in cases where there is no deployed system or updating an existing system is prohibitively complex, we must design new fair decision-making systems from scratch. Lastly, we develop new fair decision-making systems for three key applications scenarios. Major challenges in designing these systems include computational complexity, lack of existing approaches to tackle fairness issues and designing human-subject based studies. We develop a computationally efficient mechanism for fair influence maximization to make the spread of information in social graphs fair. Additionally, we address fairness concerns under model uncertainty, i.e., uncertainty arising due to lack of data or the knowledge about the best model. We propose a novel approach for training nondiscriminatory systems that differentiate errors based on their uncertainty origin and provide efficient methods to identify and equalize errors occurring due to model uncertainty in binary classification. Furthermore, we investigate whether algorithmic decision-aids can mitigate inconsistency among human decision-makers through a large-scale study testing novel ways to provide machine advice.

Der Einfluss algorithmischer Entscheidungssysteme auf das Leben von Menschen hat ein großes Interesse daran geweckt, dass solche Systeme fair sind. Die Entwicklung fairer Systeme umfasst mehrere kritische Komponenten, mit denen sich die Forschung intensiv beschäftigt hat. Bei drei Schlüsselkomponenten gibt es allerdings noch erhebliche Lücken: i) die Bewertung bestehender Ansätze und Systeme im Hinblick auf (Un-)Fairness, ii) faire Updates von Systemen im laufenden Betrieb und iii) der Entwurf neuer Entscheidungssysteme von Grund auf. Diese Arbeit befasst sich mit diesen drei Themen. Zum Ersten bewerten wir Fairnessbedenken in Basismodellen (Foundation Models). Die größte Herausforderung besteht dabei darin, dass Fairnessdefinitionen anwendungsspezifisch sind, während Basismodelle für unterschiedliche Anwendungen verwendet werden können. Um dieses Problem zu lösen, führen wir eine umfassende Taxonomie ein, um die Fairness gängiger Basismodelle und typischer Ansätze zur Vermeidung von Verzerrungen zu bewerten. Zum Zweiten befassen wir uns mit fairen Updates bereits laufender algorithmischer Entscheidungssysteme. Zu diesem Zweck entwickeln wir das Konzept der Update-Fairness, sowie Maßnahmen und effiziente Mechanismen, um das Konzept in der binären Klassifizierung zu nutzen. Zum Dritten, in Fällen in denen es noch kein System gibt oder die Aktualisierung eines bestehenden Systems zu komplex ist, müssen wir neue, faire Entscheidungssysteme von Grund auf entwickeln. Zu den größten Herausforderungen bei der Entwicklung fairer Systeme gehören dabei i) die Komplexität der Berechnungen, ii) der Mangel an bestehenden Ansätzen zur Lösung von Fairnessproblemen und iii) die Konzeption von Studien mit menschlichen Probanden. Deshalb entwickeln wir einen rechnerisch effizienten Mechanismus zur fairen Einflussmaximierung, um die Verbreitung von Informationen in sozialen Graphen fair zu gestalten. Darüber hinaus befassen wir uns mit Fairness bei Modellunsicherheiten, d.h. Unsicherheiten, die sich aus dem Mangel an Daten oder dem Wissen über das beste Modell ergeben. Dazu schlagen wir einen neuen Ansatz für das Training nicht- diskriminierender Systeme vor, der Fehler aufgrund der Art ihrer Unsicherheit unterscheidet, und entwickeln effiziente Methoden zur Identifizierung und zum Ausgleich von Fehlern, die aufgrund von Modellunsicherheit in der binären Klassifikation auftreten. Darüber hinaus untersuchen wir, ob algorithmische Entscheidungshilfen die Inkonsistenz zwischen menschlichen Entscheidungsträgern reduzieren können, indem wir in einer groß angelegten Studie neuartige Wege maschinelle Unterstützung zu kommunizieren, testen.