Mobile eye tracking for everyone

Abstract

Eye tracking and gaze-based human-computer interfaces have become a practical modality in desktop settings, since remote eye tracking is efficient and affordable. However, remote eye tracking remains constrained to indoor, laboratory-like conditions, in which lighting and user position need to be controlled. Mobile eye tracking has the potential to overcome these limitations and to allow people to move around freely and to use eye tracking on a daily basis during their everyday routine. However, mobile eye tracking currently faces two fundamental challenges that prevent it from being practically usable and that, consequently, have to be addressed before mobile eye tracking can truly be used by everyone: Mobile eye tracking needs to be advanced and made fully functional in unconstrained environments, and it needs to be made socially acceptable. Numerous sensing and analysis methods were initially developed for remote eye tracking and have been successfully applied for decades. Unfortunately, these methods are limited in terms of functionality and correctness, or even unsuitable for application in mobile eye tracking. Therefore, the majority of fundamental definitions, eye tracking methods, and gaze estimation approaches cannot be borrowed from remote eye tracking without adaptation. For example, the definitions of specific eye movements, like classical fixations, need to be extended to mobile settings where natural user and head motion are omnipresent. Corresponding analytical methods need to be adjusted or completely reimplemented based on novel approaches encoding the human gaze behaviour. Apart from these technical challenges, an entirely new, and yet under-explored, topic required for the breakthrough of mobile eye tracking as everyday technology is the overcoming of social obstacles. A first crucial key issue to defuse social objections is the building of acceptance towards mobile eye tracking. Hence, it is essential to replace the bulky appearance of current head-mounted eye trackers with an unobtrusive, appealing, and trendy design. The second high-priority theme of increasing importance for everyone is privacy and its protection, given that research and industry have not focused on or taken care of this problem at all. To establish true confidence, future devices have to find a fine balance between protecting users’ and bystanders’ privacy and attracting and convincing users of their necessity, utility, and potential with useful and beneficial features. The solution of technical challenges and social obstacles is the prerequisite for the development of a variety of novel and exciting applications in order to establish mobile eye tracking as a new paradigm, which ease our everyday life. This thesis addresses core technical challenges of mobile eye tracking that currently prevent it from being widely adopted. Specifically, this thesis proves that 3D data used for the calibration of mobile eye trackers improves gaze estimation and significantly reduces the parallax error. Further, it presents the first effective fixation detection method for head-mounted devices that is robust against the prevalence of user and gaze target motion. In order to achieve social acceptability, this thesis proposes an innovative and unobtrusive design for future mobile eye tracking devices and builds the first prototype with fully frame-embedded eye cameras combined with a calibration-free deep-trained appearance-based gaze estimation approach. To protect users’ and bystanders’ privacy in the presence of head-mounted eye trackers, this thesis presents another first-of-its-kind prototype. It is able to identify privacy-sensitive situations to automatically enable and disable the eye tracker’s first-person camera by means of a mechanical shutter, leveraging the combination of deep scene and eye movement features. Nevertheless, solving technical challenges and social obstacles alone is not sufficient to make mobile eye tracking attractive for the masses. The key to success is the development of convincingly useful, innovative, and essential applications. To extend the protection of users’ privacy on the software side as well, this thesis presents the first privacy-aware VR gaze interface using differential privacy. This method adds noise to recorded eye tracking data so that privacy-sensitive information like a user’s gender or identity is protected without impeding the utility of the data itself. In addition, the first large-scale online survey is conducted to understand users’ concerns with eye tracking. To develop and evaluate novel applications, this thesis presents the first publicly available long-term eye tracking datasets. They are used to show the unsupervised detection of users’ activities from eye movements alone using novel and efficient video-based encoding approaches as well as to propose the first proof-of-concept method to forecast users’ attentive behaviour during everyday mobile interactions from phone-integrated and body-worn sensors. This opens up possibilities for the development of a variety of novel and exciting applications. With more advanced features, accompanied by technological progress and sensor miniaturisation, eye tracking is increasingly integrated into conventional glasses as well as virtual and augmented reality (VR/AR) head-mounted displays, becoming an integral component of mobile interfaces. This thesis paves the way for the development of socially acceptable, privacy-aware, but highly functional mobile eye tracking devices and novel applications, so that mobile eye tracking can develop its full potential to become an everyday technology for everyone.

Seitdem externe, am Bildschirm befestigte Eyetracker effizient und erschwinglich sind, haben sich Eye-Tracking- und blickbasierte Mensch-Maschine Schnittstellen zu einer verlässlichen Eingabemodalität für Desktopanwendungen entwickelt. Allerdings können solche Eyetracker nur innerhalb von Gebäuden, unter nahezu laborähnlichen Bedingungen, in denen die Körperhaltung der Anwender und die Lichtverhältnisse einer ständigen Kontrolle unterliegen, eingesetzt werden. Mobiles Eye-Tracking hat das Potenzial diese Einschränkungen aufzuheben, wobei es den Nutzern ermöglicht, sich frei zu bewegen und Eye-Tracking im Alltag zu verwenden. Dem mobilen Eye- Tracking stehen derzeit jedoch zwei grundlegende Herausforderungen gegenüber, die seine praktische Verwendung verhindern: Mobiles Eye-Tracking muss weiterentwickelt werden, um in jeder Umgebung voll funktionsfähig zu sein und um gesellschaftlich akzeptiert zu werden. Damit mobiles Eye-Tracking von jedem genutzt werden kann, müssen diese Herausforderungen jedoch zuvor bewältigt werden. Zahlreiche Aufnahme- und Analysemethoden wurden ursprünglich für das externe Eye-Tracking entwickelt und werden seit Jahrzehnten erfolgreich angewandt. Diese Methoden sind jedoch in ihrer Funktionalität und Genauigkeit beschränkt bzw. für die Anwendung im mobilen Eye-Tracking ungeeignet. Die Mehrheit der grundlegenden Definitionen, Eye-Tracking-Methoden und Blickbestimmungsansätze kann daher nicht ohne Anpassung vom externen Eye-Tracking übernommen werden. Beispielsweise müssen die Definitionen einzelner Augenbewegungen, wie die der klassischen Fixation, erweitert werden, da das mobile Eye-Tracking mit natürlichen Bewegungen des Nutzers und seines Kopfes einhergeht. Entsprechende Analysemethoden müssen angepasst oder von Grund auf neu implementiert werden, basierend auf neuen Ansätzen, die das menschliche Blickverhalten kodieren. Darüber hinaus sind die gesellschaftlichen Vorbehalte ein völlig neues und noch wenig erforschtes Gebiet, deren Überwindung jedoch für den Durchbruch des mobilen Eye- Trackings als Alltagstechnologie unbedingt erforderlich ist. Ein erster wichtiger Schritt, um gesellschaftliche Bedenken auszuräumen, ist der Aufbau von Akzeptanz gegenüber dem mobilen Eye-Tracking. Daher ist es unerlässlich, das wuchtige Design der derzeit genutzten, am Kopf getragenen Eyetracker durch ein unauffälliges, ansprechendes und modernes Design zu ersetzen. Der zweite wichtige Schritt ist der Schutz der Privatsphäre, der für die Gesellschaft von zunehmender Bedeutung ist, da sich weder die Forschung noch die Industrie in der Vergangenheit hinreichend oder überhaupt nicht mit diesem Thema befasst haben. Um wirkliches Vertrauen schaffen zu können, müssen zukünftige Eyetracker eine ausgewogene Balance zwischen dem Schutz der Privatsphäre der Träger und umstehender Personen, sowie nützlicher und vorteilhafter Anwendungen finden, um die Menschen zu begeistern und sie von ihrer Notwendigkeit, ihrem Nutzen und ihrem Potenzial zu überzeugen. Die Lösung dieser technischen und gesellschaftlichen Probleme ist die Grundvoraussetzung für die Entwicklung zahlreicher neuer und spannender Anwendungen, um mobiles Eye-Tracking als neues Paradigma zu etablieren, das unseren Alltag erleichtert. Diese Dissertation bewältigt zentralen technischen Herausforderungen des mobilen Eye-Trackings, die derzeit seine breite Anwendung verhindern. Diese Arbeit zeigt insbesondere, dass 3D-Daten, die für die Kalibrierung von mobilen Eyetrackern verwendet werden, die Blickbestimmung verbessern und den Parallaxenfehler signifikant reduzieren. Darüber hinaus präsentiert diese Dissertation das erste effektive Fixationserkennungsverfahren für am Kopf getragene Eyetracker, das stabil gegenüber jeglichen Bewegungen der Nutzer und deren anvisierten Objekten in der Umgebung ist. Um gesellschaftliche Akzeptanz zu erreichen, stellt diese Arbeit ein innovatives und unauffälliges Design für zukünftige mobile Eyetracker vor, sowie den ersten Prototyp mit vollständig in die Brillenfassung integrierten Augenkameras. Zur Blickbestimmung kommt dabei ein auf dem Erscheinungsbild der Augen basierendes, kalibrationsfreies und tief trainiertes Verfahren zum Einsatz. Um die Privatsphäre der Nutzer und umstehender Personen bei der Verwendung von mobilen Eyetrackern zu schützen, wird in dieser Dissertation ein weiterer Prototyp vorgestellt. Dabei handelt es sich um einen Eyetracker, der private Situationen erkennen kann, um die auf die Umgebung gerichtete Kamera des Eyetrackers mittels einer mechanischen Klappe automatisch zu aktivieren oder zu deaktivieren. Zu diesem Zweck werden Informationen aus der Umgebung und den Augenbewegungseigenschaften miteinander kombiniert. Dennoch reicht es nicht aus, sich auf die Bewältigung technischer Herausforderungen und den Abbau gesellschaftlicher Vorbehalte zu beschränken, um das mobile Eye- Tracking für die breite Masse attraktiv zu machen. Der Schlüssel zum Erfolg ist die Entwicklung nützlicher, innovativer und grundlegender Anwendungen, um die Menschen zu überzeugen. Um die Privatsphäre der Nutzer auch auf der Softwareseite zu schützen, wird in dieser Arbeit die erste datenschutzfreundliche VR-Oberfläche mit integrierter Eye- Tracking-Funktion vorgestellt, die Differential Privacy verwendet. Bei dieser Methode werden die aufgezeichneten Eye-Tracking-Daten durch die Hinzugabe von Rauschwerten so verändert, dass datenschutzrelevante Informationen wie das Geschlecht oder die Identität eines Nutzers nicht mehr aus den Daten bestimmt werden können und damit geschützt bleiben, ohne die Nutzung der Daten für eine bestimmte Anwendung selbst zu beeinträchtigen. Darüber hinaus wurde die erste große Online-Umfrage durchgeführt, um die Bedenken der Nutzer hinsichtlich des Eye-Trackings zu verstehen. Um zukünftige Anwendungen zu entwickeln und zu evaluieren, präsentiert diese Dissertation die ersten öffentlich zugänglichen Langzeitdatensätze, die mit einem mobilen Eyetracker aufgenommen wurden. Sie ermöglichen die unüberwachte Erkennung von Aktivitäten durch die bloße Analyse der Augenbewegungen der Nutzer. Dabei kommen neue und effiziente videobasierte Kodierungsverfahren zum Einsatz. Außerdem werden die Datensätze dazu verwendet, die Wirksamkeit einer Methode zur Vorhersage des Blickverhaltens von Nutzern in Bezug auf ihre Aufmerksamkeit während alltäglicher Interaktionen mit mobilen Geräten nachzuweisen, wobei in die Geräte integrierte und am Körper getragene Sensoren verwendet werden. Dies eröffnet die Möglichkeit zur Entwicklung einer Vielzahl neuer und spannender Anwendungen. Mit weiterentwickelten Funktionen, die mit dem technischen Fortschritt und der Miniaturisierung von Sensoren einhergehen, wird Eye-Tracking zunehmend in gewöhnliche Brillen sowie in am Kopf getragene Virtual und Augmented Reality (VR/AR) Geräte integriert und somit zu einem festen Bestandteil mobiler Nutzerschnittstellen. Diese Dissertation ebnet den Weg für die Entwicklung gesellschaftlich akzeptierter, datenschutzfreundlicher, aber hochfunktionaler mobiler Eyetracker und deren zukünftiger Anwendungen, damit das mobile Eye-Tracking sein volles Potenzial entfalten und eine alltagstaugliche Technologie für jedermann werden kann.