Biomechanical models for human-computer interaction

Abstract

Post-desktop user interfaces, such as smartphones, tablets, interactive tabletops, public displays and mid-air interfaces, already are a ubiquitous part of everyday human life, or have the potential to be. One of the key features of these interfaces is the reduced number or even absence of input movement constraints imposed by a device form-factor. This freedom is advantageous for users, allowing them to interact with computers using more natural limb movements; however, it is a source of 4 issues for research and design of post-desktop interfaces which make traditional analysis methods inefficient: the new movement space is orders of magnitude larger than the one analyzed for traditional desktops; the existing knowledge on post-desktop input methods is sparse and sporadic; the movement space is non-uniform with respect to performance; and traditional methods are ineffective or inefficient in tackling physical ergonomics pitfalls in post-desktop interfaces. These issues lead to the research problem of efficient assessment, analysis and design methods for high-throughput ergonomic post-desktop interfaces.

To solve this research problem and support researchers and designers, this thesis proposes efficient experiment- and model-based assessment methods for post-desktop user interfaces. We achieve this through the following contributions: - adopt optical motion capture and biomechanical simulation for HCI experiments as a versatile source of both performance and ergonomics data describing an input method; - identify applicability limits of the method for a range of HCI tasks; - validate the method outputs against ground truth recordings in typical HCI setting; - demonstrate the added value of the method in analysis of performance and ergonomics of touchscreen devices; and - summarize performance and ergonomics of a movement space through a clustering of physiological data.

The proposed method successfully deals with the 4 above-mentioned issues of post-desktop input. The efficiency of the methods makes it possible to effectively tackle the issue of large post-desktop movement spaces both at early design stages (through a generic model of a movement space) as well as at later design stages (through user studies). The method provides rich data on physical ergonomics (joint angles and moments, muscle forces and activations, energy expenditure and fatigue), making it possible to solve the issue of ergonomics pitfalls. Additionally, the method provides performance data (speed, accuracy and throughput) which can be related to the physiological data to solve the issue of non-uniformity of movement space. In our adaptation the method does not require experimenters to have specialized expertise, thus making it accessible to a wide range of researchers and designers and contributing towards the solution of the issue of post-desktop knowledge sparsity.

Post-Desktop Benutzerschnittstellen, wie zum Beispiel Smartphones, Tablets, interaktive Tische, Public Displays und berührungslose Schnittstellen, sind bereits ein Teil des täglichen menschlichen Lebens oder haben Potenzial, dies zu werden. Eines der wichtigsten Merkmale dieser Schnittstellen ist die reduzierte Zahl oder sogar Abwesenheit von räumlichen Beschränkungen der Eingabebewegungen, welche durch das Gerät vorgegeben werden. Diese Freiheit ist von Vorteil für die Benutzer und erlaubt ihnen eine Interaktion mit Rechnern mittels natürlicher Bewegungen, z.B. der Extremitäten. Gleichzeitig erzeugt sie Schwierigkeiten für Forschung und Design von Post-Desktop Benutzeroberflächen: der neue Bewegungsraum ist um Größenordnungen größer als der früher analysierte Bewegungsraum des Desktops; das vorhandene Wissen über Post-Desktop Eingabemethoden ist spärlich und sporadisch; der Bewegungsraum ist ungleichmäßig in Bezug auf Kenngrößen der Benutzerleistung, wie etwa Bewegungzeiten; traditionelle Methoden sind ineffektiv und ineffizient bei der Lösung von Problemen der physischen Ergonomie von Post-Desktop Benutzerschnittstellen. Diese Schwierigkeiten führen zur Forschungsproblem bezüglich der effizienten Auswertung-, Analyse- und Entwurfsmethoden für ergonomische hochleistungs Post-Desktop Benutzerschnittstellen.

Zur Lösung dieser Probleme und zur Unterstützung von des Designs solcher Schnittstellen schlägt diese Arbeit effiziente Experimentalmethoden und modellbasierte Auswertungsmethoden für Post-Desktop Benutzerschnittstellen. Wir erreichen dieses Ziel durch die folgenden Beiträge: - wir passen optische Bewegungserfassung und biomechanische Simulation an MCI-Experimente an, um vielseitige Benutzerleistungsdaten und ergonomische Daten von Eingabemethoden effizient zu sammeln; - wir ermitteln die Grenzen des Anwendungsbereiches der Methode für diverse MCI Aufgaben; - wir validieren die Ergebnisse dieser Methode im Vergleich zu etablierten Methoden der MCI; - wir zeigen den Mehrwert der Methode zur Ermittlung der Benutzerleistung und Ergonomie von Touch-Screen Geräten auf; und - wir fassen die Benutzerleistung und Ergonomie des Bewegungsraumes mittels Clusteranalyse von physiologischen Daten zusammen.

Die vorgeschlagene Methode begegnet mit Erfolg den vier oben genannte Schwierigkeiten von Post-Desktop Benutzerschnittstellen. Die Effizienz der Methode erlaubt effektive Lösung der Schwierigkeit der Größe des Bewegungsraumes von Post-Desktop Benutzerschnittstellen in frühen Entwicklungsphasen (durch clusterbasierte Modelle des Bewegungsraum) und in späteren Entwicklungsphasen (durch Benutzerexperimente). Die Methode generiert vielseitige ergonomische Daten (Gelenkwinkel und -momente, Muskelkräfte und -aktivierungen, Energieaufwand und Ermüdung) und erlaubt damit die Messung und Verbesserung der physische Ergonomie. Zusätzlich generiert die Methode Daten der Benutzerleistung (Geschwindigkeit, Genauigkeit und Bandbreite), welche mit den physiologischen Daten verglichen werden können, um die Schwierigkeit der Ungleichmäßigkeit des Bewegungsraumes zu lösen. Unsere Anpassung der Methode erfordert keine Spezialkenntnisse von Experimentatoren, und ist so für ein breites Spektrum von Forschern und Designern anwendbar. Damit trägt sie zur Lösung der Schwierigkeit von Post-Desktop Benutzerschnittstellen bei.