Touching the 3rd dimension : interaction with stereoscopic data on and above Interactive surfaces

Abstract

In recent years, interaction with three-dimensional (3D) data has become more and more popular. However, current 3D user interfaces (3DUIs), as for example provided by virtual reality (VR) systems, are very often expert systems with complex user interfaces and high instrumentation. While stereoscopic displays allow users to perceive 3D content in an intuitive and natural way, interaction with stereoscopic data is still a challenging task, especially with objects that are displayed with different parallaxes. To overcome this interaction problem, multi-touch or depth sensing as commodity tracking technologies can be used. This thesis therefore investigates the challenges that occur when the flat world of surface computing meets the spatially complex 3D space. The thesis contributes a number of interactive research prototypes, interaction techniques and insights from the corresponding studies. 3D interaction techniques will be designed and studied in canonical 3DUI tasks, which leads to the conclusion that significant differences arise when interacting with objects that are stereoscopically displayed at different parallaxes. The results give implications for the design of usable 3D interaction techniques that might enable VR in the living room or at public places. To sum up, this work contributes to a better understanding of stereoscopic 3D applications for end users and can be seen as a step towards a ubiquitous distribution of interactive 3D technologies and applications.

Die Interaktion mit dreidimensionalen (3D) Daten hat in den letzten Jahren an Bedeutung gewonnen. Allerdings handelt es sich bei heutigen 3D Benutzerschnittstellen meist um Expertensysteme mit komplexen Benutzeroberflächen und -instrumentierung. Während stereoskopische Displays die intuitive Wahrnehmung von 3D erlauben, ist die Interaktion mit diesen Displays immer noch wenig benutzerfreundlich, insbesondere wenn Objekte mit verschiedenen Parallaxen angezeigt werden. In der vorliegenden Arbeit wird deshalb der Bedarf erforscht, der sich aus den Herausforderungen ergibt, die auftreten, wenn die flache Welt der interaktiven Oberflächen auf den komplexen, virtuellen 3D Raum trifft. Der Beitrag dieser Arbeit liegt in der Entwicklung von interaktiven Forschungsprototypen, neuen Interaktionstechniken sowie Erkenntnissen aus Studien. Es werden 3D Interaktionstechniken entwickelt und in universellen 3D Interaktionsaufgaben evaluiert. Die Ergebnisse zeigen, dass signifikante Unterschiede bei der Interaktion mit Objekten bestehen, die mit unterschiedlichen Parallaxen angezeigt werden. Des Weiteren ergeben sich Implikationen für das Design von Interaktionstechniken, die einen intuitiven Zugang zu Virtueller Realität (VR) im Wohnzimmer oder an öffentlichen Orten ermöglichen. Die Arbeit bildet damit einen wichtigen Beitrag zum Verständnis von stereoskopischem 3D für den Endanwender und kann als Schritt zur Verbreitung von interaktiven 3D Technologien und Anwendungen betrachtet werden.