Interactive on-skin devices for expressive touch-based interactions

Abstract

Skin has been proposed as a large, always-available, and easy to access input surface for mobile computing. However, it is fundamentally different than prior rigid devices: skin is elastic, highly curved, and provides tactile sensation. This thesis advances the understanding of skin as an input surface and contributes novel skin-worn devices and their interaction techniques. We present the findings from an elicitation study on how and where people interact on their skin. The findings show that participants use various body locations for on-skin interaction. Moreover, they show that skin allows for expressive interaction using multi-touch input and skin-specific modalities. We contribute three skin-worn device classes and their interaction techniques to enable expressive on-skin interactions: iSkin investigates multi-touch and pressure input on various body locations. SkinMarks supports touch, squeeze, and bend sensing with co-located visual output. The devices' conformality to skin enables interaction on highly challenging body locations. Finally, ExpressSkin investigates expressive interaction techniques using fluid combinations of high-resolution pressure, shear, and squeeze input. Taken together, this thesis contributes towards expressive on-skin interaction with multi-touch and skin-specific input modalities on various body locations.

Die Haut wurde als große, immer verfügbare und leicht zu erreichende Eingabefläche für Mobilgeräte vorgeschlagen. Es gibt jedoch fundamentale Unterschiede zwischen der Haut und starren Mobilgeräten: Haut ist elastisch, uneben und berührungsempfindlich. Diese Arbeit untersucht die Interaktion auf der Haut und ermöglicht diese mit neuen Eingabegeräten. Wir präsentieren die Ergebnisse einer Nutzerstudie, die untersucht wie und wo Menschen auf ihrer Haut interagieren möchten. Die Resultate zeigen, dass verschiedenste Körperstellen für Interaktionen auf der Haut genutzt werden. Desweiteren ermöglichen Multitouch und für die Haut spezifische Modalitäten eine ausdrucksstarke Interaktion auf dem Körper. Wir präsentieren drei auf der Haut getragenen Geräteklassen und ihre Interaktionstechniken, um ausdrucksstarke Eingaben auf dem Körper zu ermöglichen: iSkin erfasst Multitouch und unterscheidet zwei Druckstufen auf verschiedenen Körperstellen. SkinMarks erfasst das Berühren, Zusammendrücken und Dehnen der Haut und ermöglicht eine visuelle Ausgabe. Die speziell an die Haut angepasste Sensoren ermöglichen Interaktionen auf Körperstellen, wo Eingaben bisher nicht möglich waren. ExpressSkin untersucht ausdrucksstarke Interaktionstechniken, die auf hochaufgelösten mehrdimensionalen Druckeingaben basieren. Damit ist diese Arbeit ein Schritt in Richtung ausdrucksstarker Interaktion mit Multitouch und für die Haut spezifische Modalitäten auf verschiedenen Körperstellen.