Eye-tracking during concurrent scene and sentence presentation

Abstract

Eye-tracking has a long tradition in psycholinguistic research, for example helping to investigate human language comprehension in the presence of non-linguistic context. We present a concurrent scene and written sentence presentation study, where we manipulate congruence and sentence type of structurally ambiguous German sentences. The corresponding displayed scenes show role-ambiguous characters involved in depicted actions. We investigate the effects of depicted events onambiguity resolution in the context of a congruence decision task.

Our concurrent presentation experiment combines aspects of several recent studies on scenesentence integration. We put our results in context and present a comprehensive analysis of our data. The detailed analysis allows direct comparison with various aspects of existing and future results of other studies. We replicate some results from related studies and discuss parallels and differences in the results. We present some interesting interactions between sentence type and congruence effects. Another goal of our study is to evaluate the new open source eye-tracking environment NEWTRACK (running on FreeDOS) and our custom portable DPIFilter post-processing and visualization software. NEWTRACK is more suitable for our study than for example PCEXPT.

We give an overview of the features of NEWTRACK (e.g. support for near-standardhardware and automatic stimulus image analysis) and assess the current performance. We also review the current limitations of NEWTRACK and make suggestions forfuture enhancements.

Eye-tracking hat eine lange Tradition in der psycholinguistischen Forschung, zum Beispiel in Untersuchungen zum menschlichen Sprachverstehen im Zusammenhang mit nichtlinguistischem Kontext. Wir präsentieren eine Studie mit gleichzeitiger Anzeige von Text und Bild, in der wir Kongruenz und Satzbau lokal strukturell ambiger deutscher Stimuli manipulieren. Die verwendeten Bilder zeigen Personen und Aktionen, wobei ambige Rollenzuordnungen vorkommen. Wir untersuchen die Effekte der im Bild gezeigten Ereignisse auf die Ambiguitätsverarbeitung im Kontext der Aufgabe, über die Übereinstimmung von Bild und Text zu entscheiden.

Unser Experiment verbindet Eigenschaften mehrerer aktueller Studien zur Text / Bild Integration. Wir präsentieren unsere Ergebnisse im Kontext und analysieren unsere Daten umfassend. Die detaillierte Analyse erlaubt den direkten Vergleich unserer Ergebnisse mit den Ergebnissen bestehender und zukünftiger Experimente. Wir reproduzieren einige Ergebnisse ähnlicher Studien und besprechen Parallelen und Unterschiede in den Ergebnissen. Wir präsentieren einige interessante Wechselwirkungen zwischen Satzbau und Kongruenzeffekten.

Ein weiteres Ziel unserer Studie ist der Test der neuen open source eye-tracking Umgebung NEWTRACK (unter FreeDOS) und der plattformunabhängigen DPIFilter Nachbearbeitungs- und Visualisierungs-Software dieses Lehrstuhles. NEWTRACK eignet sich aus verschiedenen Gründen besser für unsere Studie als zum Beispiel PCEXPT. Wir bieten einen Überblick über die Funktionen von NEWTRACK (zum Beispiel Unterstützung aktueller Standard-Hardware und automatische Analyse der Stimulus-Bilder) und geben eine Beurteilung der aktuellen Leistungsfähigkeit. Wir betrachten auch die Grenzen der aktuellen NEWTRACK Version und schlagen Verbesserungen für zukünftige Versionen vor.