Hand-based illusions for haptics in virtual reality

Abstract

VR enables us to dive into artificially generated worlds, creating the illusion of being elsewhere. However, this illusion falls apart when using our hands to interact with objects inside VR because nothing can be physically touched. Haptic feedback is crucial to our everyday interactions in reality, so its sudden absence can disrupt the immersive nature of VR. To address this, a single physical proxy object can approximate virtual objects' properties to form a combined visuo-haptic illusion. We introduce four novel proxy-based approaches that render tactile and kinesthetic haptic feedback for object interactions in VR. To alter proxies' perceived properties, we explore perceptual illusions that visually offset virtual hand interactions from their real-world counterpart. Here, we contribute three novel hand-based illusions that can simulate different haptic effects. However, introducing offsets between what users see and what they feel risks disrupting the VR experience. Therefore, we set out to quantify the undetectable offset for various types of interactions, properties of proxies, and users' virtual representations to understand the techniques' application limits. Finally, we present a method for continuously monitoring and tailoring hand-based illusions to individuals' sensitivity to offsets. Together, this thesis advances the field of haptics for hand-based object interactions in VR.

Die Virtuelle Realität (VR) ermöglicht es uns, in künstlich erzeugte Welten einzutauchen und die Illusion zu erleben, an einem anderen Ort zu sein. Sobald wir jedoch unsere Hände benutzen, um mit virtuellen Objekten zu interagieren, zerbricht die Illusion, da nichts berührt werden kann. Haptisches Feedback ist für unsere alltäglichen Interaktionen von entscheidender Bedeutung, sodass sein plötzliches Fehlen das VR-Erlebnis stört. Um dieses Problem zu lösen, kann ein einzelnes physisches Proxy die Eigenschaften virtueller Objekte annähern und so eine Illusion der simulierten Objekte erzeugen. Wir stellen vier neuartige Ansätze zur Verbesserung des taktilen und kinästhetischen haptischen Feedbacks mittels Proxys vor. Um die haptischen Fähigkeiten dieser zu erweitern, präsentieren wir drei Wahrnehmungsillusionen, die Simulationen haptischer Eigenschaften durch Entkopplung des visuellen und haptischen Sinnes ermöglichen. Die Einführung von Abweichungen zwischen dem, was die Nutzer sehen, und dem, was sie fühlen, kann jedoch das VR-Erlebnis beeinflussen. Daher haben wir die unbemerkbare Abweichung für verschiedene Arten von Interaktionen, Proxys und Repräsentationen der Nutzer quantifiziert, um die Grenzen der Techniken zu verstehen. Abschließend präsentieren wir eine Methode zur kontinuierlichen Anpassung der Abweichung an die individuellen Wahrnehmungsgrenzen von Nutzern. Die Arbeit leistet einen wertvollen Beitrag zum Feld der Haptik für handbasierte Interaktionen in VR.