Bitte benutzen Sie diese Referenz, um auf diese Ressource zu verweisen: doi:10.22028/D291-23648
Titel: Internal representations of visual objects and their retrieval during situated language processing
Alternativtitel: Interne Repräsentationen visueller Objekte und deren Abruf während der situativen Sprachverarbeitung
VerfasserIn: Ellsiepen, Emilia
Sprache: Englisch
Erscheinungsjahr: 2015
Kontrollierte Schlagwörter: Psycholinguistik
Sprachverarbeitung
Blickbewegung
Visuelle Aufmerksamkeit
Gedächtnis
Freie Schlagwörter: psycholinguistics
situated language processing
visual attention
memory
prediction
DDC-Sachgruppe: 400 Sprache, Linguistik
Dokumenttyp: Dissertation
Abstract: Human language processing often takes place in a surrounding that is inherently connected to the linguistic content because real objects or ongoing events are being referred to. Research in situated language processing has shown that visual attention in a concurrent scene is closely connected to language processing. Furthermore, visual information can disambiguate between linguistic interpretations. This thesis investigates whether these kinds of findings acquired in the Visual World Paradigm generalize to settings where the use of internal memory representations of visual objects is necessary. Moreover, the role of language processing on covert visual attention is examined. To investigate whether and how internal memory representations may be utilized for situated language processing, we developed a variant of the blank screen paradigm that manipulates the order in which seven visual objects are presented before processing a spoken sentence. Building on the hypothesis that the nature and accessibility of an internal representation partly depends on its serial position in the presentation sequence, this design allows us to examine whether language mediated eye movements on the blank screen can rely on both shallow representations associated with working memory and rich representations containing conceptual information. The results suggest that these different representations become available at different stages of processing with only rich representations being the basis of eye movements during the processing of a restrictive verb, all relevant representations being accessible for anticipatory eye movements after the verb, and shallow but highly active representations being the best candidates for referential eye movements during a noun phrase. We provide an analysis of these results that combines aspects of two existing accounts of situated language processing to characterize the role and nature of visual attention during sentence processing. From the featural overlap account described in Altmann & Kamide (2007), we adopt the idea that language mediated attention arises automatically as a by-product of linguistic processing and scene processing. In addition to this automatic process, we propose a top-down driven process to guide attention during prediction, similar to the mechanism described in the Coordinated Interplay Account in Knoeferle & Crocker (2006, 2007). Further evidence for both top-down and automatic effects of language processing on visual attention is provided by two experiments using a variant of the Posner Paradigm. By manipulating the timing and the task given to the participants, we reveal that language can have an automatic influence on covert visual attention in that this influence arises very early and even if the linguistic stimulus is completely irrelevant or even obstructive to a concurrent task. On the other hand, the effect of language processing on the orienting of covert visual attention is enhanced by a task that encourages the use of the linguistic information. This work highlights the necessity of including non-linguistic cognitive functions in a comprehensive model of situated language processing. We provide the outline of a model that includes a notion of memory and a specific visual attention mechanism that accounts for our experimental findings. In addition, our results support the conjecture that findings from the Visual World Paradigm and especially its Blank Screen version generalize to more naturalistic settings, as the reliance on internal representations is of particular importance in an immersive environment. On the other hand, the influence of a concurrent task on language-mediated eye movements emphasizes the importance of methodological details for the interpretation of existing results.
Natürliche Sprache wird oft in Kontexten produziert und verarbeitet, in denen die umgeben- de Situation inhärent mit den linguistischen Inhalten verbunden ist, da auf Gegenstände oder gerade ablaufende Handlungen referenziert wird. Forschung im Bereich der situativen Sprachverarbeitung hat ergeben, dass die visuelle Aufmerksamkeit eines Zuhörers eng mit der Verarbeitung der sprachlichen Äußerung verflochten ist. Weiterhin wurde gezeigt, dass Informationen aus dem visuellen Umfeld genutzt werden können um zwischen verschiedenen Lesarten zu disambiguieren. Ziel dieser Arbeit war es, herauszufinden, ob sich solche Erkenntnisse, die mithilfe des "Visual World" Paradigmas gewonnen wurden, auf Situationen übertragen lassen, in denen auf interne Gedächtnisrepräsentationen von visuellen Objekten zugegriffen werden muss. Außerdem wurde untersucht, wie Sprache verdeckte visuelle Aufmerksamkeit, also Aufmerksamkeit jenseits der aktuellen Fixation, beeinflusst. Um zu untersuchen inwiefern interne Repräsentationen genutzt werden können, wurde eine neue Version des "Blank Screen" Paradigma entwickelt, bei der die Reihenfolge variiert wird, in der eine Anzahl von Objekten gezeigt werden, bevor dem Probanden ein Satz vorgespielt wird. Zugrunde liegt diesem Design die Hypothese, dass Art und Erreichbarkeit interner Repräsentationen von der seriellen Position eines Objektes innerhalb einer Präsentationsabfolge abhängen kann. Ziel war es so herauszufinden, ob sprachgesteuerte Augenbewegungen auf einem leeren Bildschirm sowohl auf oberflächlichen Repräsentationen, wie sie mit dem Kurzzeitgedächtnis assoziiert werden, basieren können, als auch auf vielschichtigen Repräsentationen, wie sie für das Langzeitgedächtnis angenommen werden. Unsere Ergebnisse weisen darauf hin, dass unterschiedliche Arten der Repräsentation zu verschiedenen Phasen der Sprachverarbeitung verfügbar werden. Während der Verarbeitung eines restriktiven Verbs können nur vielschichtige Repräsentationen den Augenbewegungen als Grundlage dienen. In einer antizipatorischen Phase nach dem Verb dagegen sind alle relevanten Repräsentationen prinzipiell zugänglich, während Augenbewegungen während einer referentiellen Nominalphrase zumeist auf oberflächlichen Repräsentationen, die jedoch eine hohe Aktivierung aufweisen, beruhen. Unsere Analyse dieser Ergebnisse kombiniert Aspekte aus zwei unterschiedlichen Modellen der situativer Sprachverarbeitung. Aus Altmann & Kamide (2007) wurde die Idee übernommen, dass sprachgesteuerte Augenbewegungen automatisch als Nebenprodukt von Sprachverarbeitung einerseits und der Verarbeitung der visuellen Umgebung andererseits entstehen. Zusätzlich zu diesem automatischen Prozess nehmen wir einen intern gesteuerten Prozess an, der die Aufmerksamkeit während der Vorhersage des nächsten Wortes lenkt, ähnlich dem in Knoeferle & Crocker (2006,2007) beschriebenen Mechanismus. Einen weiteren, unabhängigen Beleg für die Koexistenz von automatischer und intern gesteuerter Ausrichtung der visuellen Aufmerksamkeit durch sprachliche Stimuli liefern zwei Experimente, die eine Variante des Posner Paradigmas zur Untersuchung verdeckter Aufmerksamkeit nutzen. Indem das Zeitintervall zwischen Hinweisreiz und Zielreiz verändert wurde und die Formulierung der Aufgabe an die Probanden variiert wurde, konnte ein automatischer Einfluss von Sprache auf die verdeckte visuelle Aufmerksamkeit festgestellt werden. Dieser Effekt entsteht sehr früh und wird nicht davon außer Kraft gesetzt, dass der sprachliche Reiz irrelevant oder hinderlich bei der Aufgabe ist. Auf der anderen Seite wird der Einfluss der Sprachverarbeitung auf die Ausrichtung der visuellen Aufmerksamkeit verstärkt, wenn die Aufgabe dazu ermutigt die sprachliche Information zu nutzen. Diese Arbeit macht deutlich, dass ein umfassendes Model der situativen Sprachverarbeitung nicht linguistische kognitive Funktionen einschliessen muss. Wir umreissen ein Model, das in der Lage ist unsere Ergebnisse zu erklären, indem das Konzept eines Gedächtnisses und ein spezieller Mechanismus der visuellen Aufmerksamkeitsausrichtung integriert wird. Unsere Ergebnisse stützen außerdem die Annahme, dass die Erkenntnisse, die im "Visual World" und "Blank Screen" Paradigma gewonnen wurden, sich durchaus auf natürlichere Situationen übertragen lassen, da die Nutzung interner Repräsentationen in einer natürlichen Umgebung von besonderer Bedeutung ist. Der Einfluss spezieller Aufgabenstellungen auf sprachgesteuerte Augenbewegungen machen auf der anderen Seite deutlich, wie wichtig es ist, methodologische Details bei der Interpretation besehender Ergebnisse vor Augen zu haben.
Link zu diesem Datensatz: urn:nbn:de:bsz:291-scidok-61279
hdl:20.500.11880/23704
http://dx.doi.org/10.22028/D291-23648
Erstgutachter: Crocker, Matthew W.
Tag der mündlichen Prüfung: 11-Jul-2014
Datum des Eintrags: 12-Jun-2015
Fakultät: P - Philosophische Fakultät
Fachrichtung: P - Sprachwissenschaft und Sprachtechnologie
Ehemalige Fachrichtung: bis SS 2016: Fachrichtung 4.7 - Allgemeine Linguistik
Sammlung:SciDok - Der Wissenschaftsserver der Universität des Saarlandes

Dateien zu diesem Datensatz:
Datei Beschreibung GrößeFormat 
phd.pdf7,44 MBAdobe PDFÖffnen/Anzeigen


Alle Ressourcen in diesem Repository sind urheberrechtlich geschützt.