Image classification with limited training data and class ambiguity

Abstract

Modern image classification methods are based on supervised learning algorithms that require labeled training data. However, only a limited amount of annotated data may be available in certain applications due to scarcity of the data itself or high costs associated with human annotation. Introduction of additional information and structural constraints can help improve the performance of a learning algorithm. In this thesis, we study the framework of learning using privileged information and demonstrate its relation to learning with instance weights. We also consider multitask feature learning and develop an efficient dual optimization scheme that is particularly well suited to problems with high dimensional image descriptors. Scaling annotation to a large number of image categories leads to the problem of class ambiguity where clear distinction between the classes is no longer possible. Many real world images are naturally multilabel yet the existing annotation might only contain a single label. In this thesis, we propose and analyze a number of loss functions that allow for a certain tolerance in top k predictions of a learner. Our results indicate consistent improvements over the standard loss functions that put more penalty on the first incorrect prediction compared to the proposed losses. All proposed learning methods are complemented with efficient optimization schemes that are based on stochastic dual coordinate ascent for convex problems and on gradient descent for nonconvex formulations.

Moderne Bildklassifizierungsmethoden basieren auf u¨berwachten Lernalgorithmen, die annotierte Trainingsdaten erfordern. In bestimmten Anwendungen steht aufgrund der Knappheit der Daten selbst oder der hohen Kosten, die durch Annotationen durch Menschen entstehen, jedoch vielleicht nur eine begrenzte Anzahl von annotierten Daten zur Verfu¨gung. Die Einfu¨hrung zusa¨tzlicher Informationen und struktureller Nebenbedingungen kann dazu beitragen, die Leistung eines Lernalgorithmus zu verbessern. In dieser Arbeit untersuchen wir das Lernen mit privilegierten Informationen und zeigen eine Beziehung zum Lernen mit gewichteten Beispielen. Wir betrachten auch das Lernen von Merkmalen fu¨r Multitask Klassifikation und entwickeln eine effiziente duale Optimierungsmethode, die sich besonders gut fu¨r Probleme mit hochdimensionalen Bilddeskriptoren eignet. Skalierung von Annotationen zu einer großen Anzahl von Bildkategorien fu¨hrt zum Problem der Klassen-Ambiguita¨t, wo eine klare Unterscheidung zwischen den Klassen nicht mehr mo¨glich ist. Viele natu¨rliche Bilder sind Teil mehrer Klassen, aber die vorhandene Annotation ko¨nnte mo¨glicherweise nur ein einziges Label enthalten. In dieser Arbeit schlagen wir eine Reihe von Verlustfunktionen vor, die eine gewisse Toleranz in Top k Vorhersagen eines Klassifikators ermo¨glichen, und analysieren diese. Unsere Ergebnisse zeigen konsequente Verbesserungen gegenu¨ber den u¨blichen Verlustfunktionen, die die erste falsche Vorhersage sta¨rker bestrafen. Wir erga¨nzen alle vorgeschlagenen Lernmethoden durch effiziente Optimierungsalgorithmen, die auf dualem Koordinatenanstieg fu¨r konvexe bzw. auf Gradientenverfahren fu¨r nichtkonvexe Probleme basieren.