The interplay of gesture, gaze, and speech : analyzing task-based interaction

Abstract

This study investigates spoken language data, gesture, and gaze to gain insights into how pairs of interactants shape and coordinate their actions to mutually accomplish a given task. Based on micro-level phenomena consisting of multiple interactive modes, the findings illuminate new implications for the theoretical and methodological approach to language. Embedded in pragmatics and the interactional sociolinguistics approach to discourse as well as David McNeill’s approach to gesture, the research presented investigates topics such as openings of unscripted events, cohesion and reference, repetition as well as common ground and stance taking. Gesture, in particular the pointing gesture, gaze, gaze shifts, and mutual gaze are also analyzed as integral components of language and human communication. As a whole, these individual phenomena are demonstrated to contribute to interactions, constituting each other and creating and shaping joint actions. This study arrives at an understanding of language which views it as composed of speech, gesture, and other nonverbal modes.

Diese Arbeit untersucht gesprochene Sprache, Gesten und Blick, um Aussagen über dyadische Interaktionen und die Koordination von Aktionen zum Erreichen einer vorgegebenen Aufgabe zu treffen. Basierend auf Mikrophänomenen bestehend aus multiplen interaktiven Modi, zeigen die Forschungsergebnisse neue Erkenntnisse für eine theoretische und methodologische Herangehensweise an Sprache auf. Die Studie siedelt sich im Bereich der Pragmatik, der interaktionalen Soziolinguistik sowie der Gestikstudien nach David McNeill an. In der Forschungsarbeit werden Themen wie die Eröffnung von Interaktionen, Kohärenz und Referenz, Common Ground und Stance Taking sowie Wiederholungen untersucht. Gesten, im besonderen die Zeigegeste, sowie Blick, Blickwechsel und gemeinsamer Blick werden als wesentliche Komponenten von Sprache und menschlicher Kommunikation analysiert. Als eine Einheit gesehen tragen die einzelnen Phänomene zu Interaktionen bei. Sie konstituieren sich gegenseitig und schaffen so "joint actions". Die vorliegende Studie gelangt zu einem Verständnis von Sprache, welches sich aus gesprochener Sprache, Gesten und anderen nonverbalen Modalitäten zusammensetzt.