Characteristics and commonalities : differentially describing datasets with insightful patterns

Abstract

Empirical science revolves around gaining insights from complex data. With the advent of computational science, increasingly more, larger, and richer datasets are becoming available to expand our scientific knowledge. However, the analysis of these datasets by domain experts is often impaired by a lack of suitable computational tools. In particular, there is a shortage of methods identifying insightful patterns, i.e., sets of strongly associated feature values that are informative, contrasting, probabilistically sound, statistically sound, and discoverable using scalable algorithms. This thesis leverages ideas and concepts from pattern-set mining, maximum-entropy modeling, statistical testing, and matrix factorization to develop methods for discovering insightful patterns.

Kern der empirischen Wissenschaft ist die Gewinnung von Erkenntnissen aus komplexen Daten. Durch den Aufstieg der computationellen Wissenschaft werden zunehmend zahlreichere, umfangreichere und reichhaltigere Datensätze verfügbar, mit deren Hilfe wir unser Wissen erweitern können. Gleichzeitig erschwert ein Mangel an geeigneten computationellen Werkzeugen die Analyse dieser Datensätze durch Domänenexperten. Insbesondere fehlt es an Methoden zur Identifizierung von aufschlussreichen Mustern (insightful patterns), d.h., Mengen von stark assoziierten Merkmalsausprägungen (feature values), die informativ, kontrastierend, probabilistisch fundiert, statistisch fundiert und durch skalierbare Algorithmen auffindbar sind. Diese Dissertation nutzt Ideen und Konzepte aus Pattern-Set Mining, Maximum-Entropy Modeling, statistischen Testverfahren und Matrixfaktorisierung, um Methoden zu entwickeln, die aufschlussreiche Muster identifizieren.