Re-envisioning touch : designing embodied material and force experiences with motion-coupled vibrotactile feedback

Abstract

Vibrations communicated through touch are central to how humans experience material and textural properties and forces when interacting with the world. Yet, most digital systems rely on simple vibrotactile cues that poorly approximate the dynamic tactile feedback of physical interactions. Motion-Coupled Vibration is a method of inducing sensations of materiality, connectedness, and force by rendering vibrotactile pulses generated-by and synchronized-with user action. This dissertation advances the design and understanding of motion-coupled vibrotactile feedback. Through five interconnected studies, the thesis investigates how motion-coupling transforms haptic experience across hands, feet, and whole-body interactions. It begins with Haptic Servos, open-source low-latency (<5 ms) haptic rendering devices that make motion-coupled feedback accessible to non-experts to create rich, embodied tactile experiences. Building on Haptic Servos, the thesis next examines why motion-coupled vibration feels more embodied than conventional vibration. Through a foot-pedal study, I show that motion-coupled feedback increases users’ perceived control even when objective performance remains unchanged, revealing a dissociation between physical outcomes and subjective agency. This motivates a deeper investigation into underlying perceptual mechanisms. A follow-up study demonstrates that motion-coupled asymmetric vibration engages sensory attenuation, reducing perceived vibration intensity while preserving the force sensations. This method of rendering pseudo forces improves realism in Virtual Reality force rendering while also providing insight on why motion-coupled vibration is experienced as embodied. The dissertation then turns from perceptual mechanisms to examining how motion-coupled feedback reshape the design of tactile symbols. By contrasting hermeneutic (symbolic) and embodied (intuitive) mediation, the designers integrate material metaphors and lived experiences with motion-coupled feedback. This expands the expressive palette of tactile symbols, enabling tactile symbols that feel intuitive and embodied. Finally extending this approach to bimanual interaction, I demonstrate how introducing tunable vibrotactile crosstalk between two devices can evoke a sense of connectedness between the hands, enabling the rendering of virtual bimanual materials without mechanical linkages. This work culminates in Dvihastīya, an authoring tool for crafting such experiences in VR. Together, these studies position motion-coupled vibrotactile feedback as a unifying design principle for creating richer, more embodied haptic experiences. This thesis contributes conceptual frameworks, technical tools, and empirical insights that advance a holistic, motion-coupled approach to creating embodied haptic experiences.

Durch Berührung wahrgenommene Vibrationen sind zentral dafür, wie Menschen Materialeigenschaften, Texturen und Kräfte erleben. Digitale Systeme nutzen jedoch meist einfache vibrotaktile Signale, die das dynamische Zusammenspiel zwischen Bewegung und taktilem Feedback nur unzureichend wiedergeben. Bewegungsgekoppelte Vibration – vibrotaktile Impulse, die von der Nutzeraktion erzeugt und mit ihr synchronisiert werden – bietet einen Ansatz, um Empfindungen von Materialität, Verbundenheit und Kraft realistischer darzustellen. Diese Dissertation untersucht in fünf miteinander verbundenen Studien, wie bewegungsgekoppeltes vibrotaktiles Feedback die haptische Wahrnehmung über Hände, Füße und bimanuale Interaktion hinweg verändert. Zunächst werden mit den Haptic Servos, quelloffenen Low-Latency Rendering Geräten (<5 ms), neue Werkzeuge bereitgestellt, die solche Feedbackformen für Nicht-Expert*innen zugänglich machen. Darauf aufbauend wird erforscht, weshalb sich bewegungsgekoppelte Vibration verkörperter anfühlt als herkömmliche Vibration: Eine Pedalstudie zeigt, dass sie die wahrgenommene Kontrolle erhöht, selbst ohne Leistungssteigerung, und eine Folgestudie belegt, dass bewegungsgekoppelte asymmetrische Vibration sensorische Dämpfung aktiviert und so Vibrationsintensität reduziert, während Kraftempfindungen erhalten bleiben. Im nächsten Schritt wird untersucht, wie diese Erkenntnisse das Design taktiler Symbole erweitern. Der Vergleich hermeneutischer (symbolischer) und verkörperter (intuitiver) Vermittlung zeigt, dass bewegungsgekoppelte Vibration den Gestaltungsspielraum für haptische Bedeutungen deutlich vergrößert. Abschließend wird demonstriert, wie vibrotaktiles, abstimmbare Übersprechen zwischen zwei Geräten ein Gefühl bimanualer Verbundenheit erzeugt und so virtuelle Materialien ohne mechanische Kopplung erlebbar macht. Dies mündet im Autorentool Dvihastīya für VR. Insgesamt positioniert die Dissertation bewegungsgekoppelte vibrotaktile Rückmeldung als ein einheitliches Designprinzip zur Gestaltung reichhaltiger, verkörperter haptischer Erfahrungen und liefert konzeptionelle, technische und empirische Beiträge zu einem ganzheitlichen haptischen Interaktionsansatz.