Feature invariance versus change estimation in variational motion estimation

Abstract

The robust estimation of correspondences in image sequences belongs to the fundamental problems in computer vision. One of the big practical challenges are appearance changes of objects, because the traditional brightness constancy assumption only holds under idealised conditions. Two chapters of this thesis approach this problem in the context of dense optic flow estimation. We contribute two solutions that follow very different strategies. First, we consider invariances, i.e. features of the input images that remain unaffected under certain changes in illumination and appearance. We present a systematic overview of available invariances and introduce our complete rank transform. Our prototypical variational framework can incorporate any of the discussed invariant features and facilities a fair comparison. Our second contribution is motivated by the insight that challenging appearance changes such as drop shadows often are local phenomena, but invariances operate globally. Thus, we develop a method that integrates illumination changes explicitly into our model and compensates the constancy assumption locally for them. The third contribution of this thesis considers the scale space behaviour of variational optic flow methods. The existence of such a behaviour in the regularisation parameter is unquestionable, however, there is no through analysis in this direction up to now. We close this gap as the third contribution of this thesis.

Die robuste Schätzung von Korrespondenzen in Bildfolgen ist eines der grundlegenden Probleme des Maschinensehens. Eine der großen Herausforderungen in der Praxis sind hierbei Aussehensänderungen von Objekten, da die traditionelle Helligkeitskonstanzannahme nur unter idealisierten Bedingungen gilt. Zwei Kapitel dieser Dissertation befassen sich mit diesem Problem im Kontext der Schätzung dichten optischen Flusses. Wir tragen zwei Lösungen bei die sehr verschiedenen Strategien folgen. Zuerst betrachten wir Invarianzen, also Eigenschaften des gegebenen Bildmaterials, die unter bestimmen Beleuchtungs- und Aussehensänderungen unverändert bleiben. Wir geben eine systematische Übersicht bestehender Invarianzen und stellen unsere Complete Rank Transform vor. Unser prototypisches variationelles Framework kann jede der besprochenen Invarianzen verwenden und macht so einen fairen Vergleich möglich. Unser zweiter Beitrag ist von der Erkenntnis motiviert, dass schwierige Aussehensänderungen, wie z.B. Schlagschatten, oft lokale Erscheinungen sind, Invarianzen jedoch global wirken. Wir entwickeln daher ein Modell das Beleuchtungsänderungen explizit einbezieht und die Konstanzannahme um diese Änderungen lokal kompensiert. Der dritte Beitrag dieser Dissertation betrifft das Skalenraum-Verhalten variationeller Optischer-Fluss-Methoden.Das Vorhandensein eines solchen Verhaltens im Regularisierungsparameter ist unstrittig, jedoch liegen bislang keine gründlichen Untersuchungen hierzu vor. Diese sind der Beitrag des vierten Kapitels dieser Dissertation.