Designing tactile experiences for immersive virtual environments

Abstract

Designing for the sense of touch is essential in creating convincing and realistic experiences in Virtual Reality (VR). Through haptic feedback, visual representations gain tangibility, which has been shown to positively influence task performance, realism, and a user's sense of presence. While previous work has explored a plethora of approaches to provide haptic feedback in immersive virtual environments (IVEs), developing effective and convincing tactile experiences still remains challenging. Reasons for this are manifold and include the high complexity of the haptic sense, an unfamiliarity with the domain of haptics in other fields, a high diversity of haptic interfaces, and a lack of understanding of the need for including the user's sense of touch. Our research contributes to the fields of VR and haptic design by investigating how real-world touch experiences can enhance the design of effective tactile experiences in IVEs. We propose different approaches that are aimed at creating experiences such that users would be able to receive an impression of the intended feedback during visuo-haptic exploration. Firstly, we investigate haptic reproduction through capturing and fabricating surface microgeometry. We show that fabrication processes can support the design of touch experiences inspired by real-world haptic information. Furthermore, we build upon procedural haptic design by generating and fabricating haptically-varying surface structures. We show that digital design processes are able to generate flexible and universal structures that directly influence tactile dimensions, such as roughness and hardness. By utilizing such structures in visuo-haptic settings, the range of material perception can be extended. Lastly, we investigate correspondences between different sensory modalities to enhance the design of tactile experiences. We show that correspondences between visual and haptic modalities are able to support a wide gamut of material and texture perception in IVEs. Moreover, we show that vocalizations can be used to transfer design intent into effective haptic experiences, while providing a rapid in-situ design process. Based on these contributions, this dissertation advances the fields of VR and haptic design by contributing knowledge to the question of how effective tactile experiences can be designed.

Die Berücksichtigung des Tastsinns ist für die Schaffung überzeugender und realistischer Erlebnisse in der virtuellen Realität (VR) unerlässlich. Durch haptisches Feedback gewinnen visuelle Darstellungen an Greifbarkeit, was sich erwiesenermaßen positiv auf die Ausführung von Aufgaben, den Realismus und das Präsenzgefühl der Nutzer*innen auswirkt. Während frühere Arbeiten eine Vielzahl von Ansätzen von haptischem Feedback in immersiven virtuellen Umgebungen (IVUs) erforscht haben, bleibt die Entwicklung effektiver und überzeugender haptischer Erfahrungen eine Herausforderung. Die Gründe hierfür sind vielfältig und erstrecken sich von der hohen Komplexität des haptischen Sinns, der mangelnden Vertrautheit mit dem Bereich der Haptik, die große Vielfalt an haptischen Schnittstellen bis zu dem fehlenden Verständnis der Notwendigkeit für die Einbeziehung des Tastsinns der Benutzer*innen. In dieser Arbeit leisten wir einen Beitrag zu den Bereichen VR und haptischem Design, indem wir untersuchen, wie reale Berührungserfahrungen das Design effektiver, taktiler Erfahrungen in IVUs verbessern können. Wir stellen verschiedene Ansätze vor, die es Designer*innen ermöglichen, Erlebnisse so zu gestalten, dass die Nutzer*innen einen realistischen Eindruck des beabsichtigten Feedbacks während der visuell-haptischen Erkundung erhalten können. Zunächst untersuchen wir die haptische Reproduktion durch die Erfassung und Herstellung von Oberflächen mit Mikrogeometrien. Wir zeigen, dass Herstellungsprozesse, die durch haptischen Informationen aus der realen Welt inspiriert wurden, das Design von haptischen Erfahrungen unterstützen können. Darüber hinaus bauen wir auf dem prozeduralen haptischen Design auf, indem wir haptisch veränderliche Oberflächenstrukturen erzeugen und herstellen. Wir zeigen, dass digitale Designprozesse in der Lage sind, flexible und universelle Strukturen zu erzeugen, die taktile Dimensionen, wie Rauheit und Härte, direkt beeinflussen. Durch den Einsatz solcher Strukturen in visuell-haptischen Umgebungen kann die Bandbreite der Materialwahrnehmung erweitert werden. Schließlich untersuchen wir Zusammenhänge zwischen verschiedenen Sinnesmodalitäten, um die Gestaltung von taktilen Erfahrungen zu verbessern. Wir zeigen, dass Übereinstimmungen zwischen visuellen und haptischen Modalitäten in der Lage sind, eine breite Palette von Material- und Texturwahrnehmungen in IVUs zu ermöglichen. Darüber hinaus zeigen wir, dass Vokalisierung genutzt werden kann, um Designabsichten in effektive haptische Erfahrungen zu überführen und gleichzeitig einen effizienten In-Situ-Designprozess zu ermöglichen. Basierend auf diesen Forschungsergebnissen bringt diese Dissertation die Bereiche VR und haptisches Design voran, indem sie Erkenntnisse zu der Frage liefert, wie effektive haptische Erfahrungen gestaltet werden können.