Please use this identifier to cite or link to this item: doi:10.22028/D291-29648
Title: Prediction, detection, and correction of misunderstandings in interactive tasks
Author(s): Villalba, Martin Federico
Language: English
Year of Publication: 2019
Free key words: interactive NLG
instruction following
referring expression generation
virtual environments
misunderstanding detection
misunderstanding correction
crowdsourcing
contrastive feedback
DDC notations: 400 Language, linguistics
Publikation type: Doctoral Thesis
Abstract: Technology has allowed all kinds of devices and software to come into our lives. Advances in GPS, Virtual Reality, and wearable computers with increased computing power and Internet connectivity open the doors for interactive systems that were considered science fiction less than a decade ago, and are capable of guiding us in a variety of environments. This increased accessibility comes at the cost of increasing both the scale of problems that can be realistically tackled and the capabilities that we expect from such systems. Indoor navigation is an example of such a task: although guiding a car is a solved problem, guiding humans for instance inside a museum is much more challenging. Unlike cars, pedestrians use landmarks rather than absolute distances. They must discriminate from a larger number of distractors, and expect sentences of higher complexity than those appropriate for a car driver. A car driver prefers short, simple instructions that do not distract them from traffic. A tourist inside a museum on the contrary can afford the mental effort that a detailed grounding process would require. Both car and indoor navigation are specific examples of a wider family of collaborative tasks known as “Instruction Following”. In these tasks, agents with the two clearly defined roles of Instruction Giver and Instruction Follower must cooperate to achieve a joint objective. The former has access to all required information about the environment, including (but not limited to) a detailed map of the environment, a clear list of objectives, and a profound understanding of the effect that specific actions have in the environment. The latter is tasked with following the instructions, interacting with the environment and moving the undertaking forward. It is then the Instruction Giver’s responsibility to assess a detailed plan of action, segment it into smaller subgoals, and present instructions to the Instruction Follower in a language that is clear and understandable. No matter how carefully crafted the Instruction Giver’s utterances are, it is expected that misunderstandings will take place. Although some of these misunderstandings are easy to detect and repair, others can be very difficult or even impossible to solve. It is therefore important for the Instruction Giver to generate instructions that are as clear as possible, to detect misunderstandings as early as possible, and to correct them in the most effective way. This thesis introduces several algorithms and strategies designed to tackle the aforementioned problems from end to end, presenting the individual aspects of a system that successfully predicts, detects, and corrects misunderstandings in interactive Instruction Following tasks. We focus on one particular type of instruction: those involving Referring Expressions. A Referring Expression identifies a single object out of many, such as “the red button” or “the tall plant”. Generating Referring Expressions is a key component of Inst. Following tasks, since any kind of object manipulation is likely to require a description of the object. Due to its importance and complexity, this is one of the most widely studied areas of Natural Language Generation. In this thesis we use Semantically Interpreted Grammars, an approach that integrates both Referring Expression Generation (identifying which properties are required for a unique description) and Surface realization (combining those properties into a concrete Noun Phrase). The complexity of performing, recording, and analyzing Instruction Following tasks in the real world is one of the major challenges of Instruction Following research. In order to simplify both the development of new algorithms and the access to those results by the research community, our work is evaluated in what we call a Virtual Environment—an environment that mimics the main aspects of the real world and abstracts distractions while preserving enough characteristics of the real world to be useful for research. Selecting the appropriate virtual environment for a research task ensures that results will be applicable in the real world. We have selected the Virtual Environment of the GIVE Challenge, an environment designed for an Instruction Following task in which a human Instruction Follower is paired with an automated Instruction Giver in a maze-like 3D world. Completing the task requires navigating the space, avoiding alarms, interacting with objects, generating instructions in Natural Language, and preventing mistakes that can bring the task to a premature end. Even under these simplified conditions, the task presents several computational challenges: performing these tasks in real time require fast algorithms, and ensuring the efficiency of our approaches remains a priority at every step. Our first experimental study identifies the most challenging type of mistakes that our system is expected to find. Creating an Inst. Following system that leverages previously-recorded human data and follows instructions using a simple greedy algorithm, we clearly separate those situations for which no further study is warranted from those that are of interest for our research. We test our algorithm with similarity metrics of varying complexity, ranging from overlap measures such as Jaccard and edit distances to advanced machine learning algorithms such as Support Vector Machines. The best performing algorithms achieve not only good accuracy, but we show in fact that mistakes are highly correlated with situations that are also challenging for human annotators. Going a step further, we also study the type of improvement that can be expected from our system if we give it the chance of retrying after a mistake was made. This system has no prior beliefs on which actions are more likely to be selected next, and our results make a good case for this vision to be one of its weakest points. Moving away from a paradigm where all actions are considered equally likely, and moving towards a model in which the Inst. Follower’s own action is taken into account, our subsequent step is the development of a system that explicitly models listener’s understanding. Given an instruction containing a Referring Expression, we approach the Instruction Follower’s understanding of it with a combination of two probabilistic models. The Semantic model uses features of the Referring Expression to identify which object is more likely to be selected: if the instruction mentions a red button, it is unlikely that the Inst. Follower will select a blue one. The Observational model, on the other hand, predicts which object will be selected by the Inst. Follower based on their behavior: if the user is walking straight towards a specific object, it is very likely that this object will be selected. These two log-linear, probabilistic models were trained with recorded human data from the GIVE Challenge, resulting in a model that can effectively predict that a misunderstanding is about to take place several seconds before it actually happens. Using our Combined model, we can easily detect and predict misunderstandings — if the Inst. Giver tells the Inst. Follower to “click the red button”, and the Combined model detects that the Inst. Follower will select a blue one, we know that a misunderstanding took place, we know what the misunderstood object is, and we know both facts early enough to generate a correction that will stop the Inst. Follower from making the mistake in the first place. A follow-up study extends the Observational model introducing features based on the gaze of the Inst. Follower. Gaze has been shown to correlate with human attention, and our study explores whether gaze-based features can improve the accuracy of the Observational model. Using previouslycollected data from the GIVE Environment in which gaze was recorded using eye-tracking equipment, the resulting Extended Observational model improves the accuracy of predictions in challenging scenes where the number of distractors is high. Having a reliable method for the detection of misunderstandings, we turn our attention towards corrections. A corrective Referring Expression is one designed not only for the identification of a single object out of many, but rather, for identifying a previously-wrongly-identified object. The simplest possible corrective Referring Expression is repetition: if the user misunderstood the expression “the red button” the first time, it is possible that they will understand it correctly the second time. A smarter approach, however, is to reformulate the Referring Expression in a way that makes it easier for the Inst. Follower to understand. We designed and evaluated two different strategies for the generation of corrective feedback. The first of these strategies exploits the pragmatics concept of a Context Set, according to which human attention can be segmented into objects that are being attended to (that is, those inside the Context Set) and those that are ignored. According to our theory, we could virtually ignore all objects outside the Context Set and generate Referring Expressions that would not be uniquely identifying with respect to the entire context, but would still be identifying enough for the Inst. Follower. As an example, if the user is undecided between a red button and a blue one, we could generate the Referring Expression “the red one” even if there are other red buttons on the scene that the user is not paying attention to. Using our probabilistic models as a measure for which elements to include in the Context Set, we modified our Referring Expression Generation algorithm to build sentences that explicitly account for this behavior. We performed experiments over the GIVE Challenge Virtual Environment, crowdsourcing the data collection process, with mixed results: even if our definition of a Context Set were correct (a point that our results can neither confirm nor deny), our strategy generates Referring Expressions that prevents some mistakes, but are in general harder to understand than the baseline approach. The results are presented along with an extensive error analysis of the algorithm. They imply that corrections can cause the Instruction Follower to re-evaluate the entire situation in a new light, making our previous definition of Context Set impractical. Our approach also fails at identifying previously grounded referents, compounding the number of pragmatic effects that conspire against this approach. The second strategy for corrective feedback consists on adding Contrastive focus to a second, corrective Referring Expression In a scenario in which the user receives the Referring Expression “the red button” and yet mistakenly selects a blue one, an approach with contrastive focus would generate “no, the RED button” as a correction. Such a Referring Expression makes it clear to the Inst. Follower that on the one hand their selection of an object of type “button” was correct, and that on the other hand it is the property “color” that needs re-evaluation. In our approach, we model a misunderstanding as a noisy channel corruption: the Inst. Giver generates a correct Referring Expression for a given object, but it is corrupted in transit and reaches the Inst. Follower in the form of an altered, incorrect Referring Expression We correct this misconstrual by generating a new, corrective Referring Expression: starting from the original Referring Expression and the misunderstood object, we identify the constituents of the Referring Expression that were corrupted and place contrastive focus on them. Our hypothesis states that the minimum edit sequence between the original and misunderstood Referring Expression correctly identifies the constituents requiring contrastive focus, a claim that we verify experimentally. We perform crowdsourced preference tests over several variations of this idea, evaluating Referring Expressions that either present contrast side by side (as in “no, not the BLUE button, the RED button”) or attempt to remove redundant information (as in “no, the RED one”). We evaluate our approaches using both simple scenes from the GIVE Challenge and more complicated ones showing pictures from the more challenging TUNA people corpus. Our results show that human users significantly prefer our most straightforward contrastive algorithm. In addition to detailing models and strategies for misunderstanding detection and correction, this thesis also includes practical considerations that must be taken into account when dealing with similar tasks to those discussed here. We pay special attention to Crowdsourcing, a practice in which data about tasks can be collected from participants all over the world at a lower cost than traditional alternatives. Researchers interested in using crowdsourced data must often deal both with unmotivated players and with players whose main motivation is to complete as many tasks as possible in the least amount of time. Designing a crowdsourced experiment requires a multifaceted approach: the task must be designed in such a way as to motivate honest players, discourage other players from cheating, implementing technical measures to detect bad data, and prevent undesired behavior looking at the entire pipeline with a Security mindset. We dedicate a Chapter to this issue, presenting a full example that will undoubtedly be of help for future research. We also include sections dedicated to the theory behind our implementations. Background literature includes the pragmatics of dialogue, misunderstandings, and focus, the link between gaze and visual attention, the evolution of approaches towards Referring Expression Generation, and reports on the motivations of crowdsourced workers that borrow from fields such as psychology and economics. This background contextualizes our methods and results with respect to wider fields of study, enabling us to explain not only that our methods work but also why they work. We finish our work with a brief overview of future areas of study. Research on the prediction, detection, and correction of misunderstandings for a multitude of environments is already underway. With the introduction of more advanced virtual environments, modern spoken, dialoguebased tools revolutionizing the market of home devices, and computing power and data being easily available, we expect that the results presented here will prove useful for researchers in several areas of Natural Language Processing for many years to come.
Die Technologie hat alle möglichen Arten von unterstützenden Geräten und Softwares in unsere Leben geführt. Fortschritte in GPS, Virtueller Realität, und tragbaren Computern mit wachsender Rechenkraft und Internetverbindung öffnen die Türen für interaktive Systeme, die vor weniger als einem Jahrzehnt als Science Fiction galten, und die in der Lage sind, uns in einer Vielfalt von Umgebungen anzuleiten. Diese gesteigerte Zugänglichkeit kommt zulasten sowohl des Umfangs der Probleme, die realistisch gelöst werden können, als auch der Leistungsfähigkeit, die wir von solchen Systemen erwarten. Innennavigation ist ein Beispiel einer solcher Aufgaben: obwohl Autonavigation ein gelöstes Problem ist, ist das Anleiten von Meschen zum Beispiel in einem Museum eine größere Herausforderung. Anders als Autos, nutzen Fußgänger eher Orientierungspunkte als absolute Distanzen. Sie müssen von einer größeren Anzahl von Ablenkungen unterscheiden können und Sätze höherer Komplexität erwarten, als die, die für Autofahrer angebracht sind. Ein Autofahrer bevorzugt kurze, einfache Instruktionen, die ihn nicht vom Verkehr ablenken. Ein Tourist in einem Museum dagegen kann die metale Leistung erbringen, die ein detaillierter Fundierungsprozess benötigt. Sowohl Auto- als auch Innennavigation sind spezifische Beispiele einer größeren Familie von kollaborativen Aufgaben bekannt als Instruction Following. In diesen Aufgaben müssen die zwei klar definierten Akteure des Instruction Givers und des Instruction Followers zusammen arbeiten, um ein gemeinsames Ziel zu erreichen. Der erstere hat Zugang zu allen benötigten Informationen über die Umgebung, inklusive (aber nicht begrenzt auf) einer detallierten Karte der Umgebung, einer klaren Liste von Zielen und einem genauen Verständnis von Effekten, die spezifische Handlungen in dieser Umgebung haben. Der letztere ist beauftragt, den Instruktionen zu folgen, mit der Umgebung zu interagieren und die Aufgabe voranzubringen. Es ist dann die Verantwortung des Instruction Giver, einen detaillierten Handlungsplan auszuarbeiten, ihn in kleinere Unterziele zu unterteilen und die Instruktionen dem Instruction Follower in einer klaren, verständlichen Sprache darzulegen. Egal wie sorgfältig die Äußerungen des Instruction Givers erarbeitet sind, ist es zu erwarten, dass Missverständnisse stattfinden. Obwohl einige dieser Missverständnisse einfach festzustellen und zu beheben sind, können anderen sehr schwierig oder gar unmöglich zu lösen sein. Daher ist es wichtig, dass der Instruction Giver die Anweisungen so klar wie möglich formuliert, um Missverständnisse so früh wie möglich aufzudecken, und sie in der effektivstenWeise zu berichtigen. Diese Thesis führt mehrere Algorithmen und Strategien ein, die dazu entworfen wurden, die oben genannten Probleme in einem End-to-End Prozess zu lösen. Dabei werden die individuellen Aspekte eines Systems präsentiert, dass erfolgreich Missverständnisse in interaktiven Instruction Following Aufgaben vorhersagen, feststellen und korrigieren kann.Wir richten unsere Aufmerksamkeit auf eine bestimmte Art von Instruktion: die sogennanten Referring Expressions. Eine Referring Expression idenfiziert ein einzelnes Objekt aus vielen, wie zum Beispiel „der rote Knopf” oder „die große Pflanze”. Das Generieren von Referring Expressions ist eine Schlüsselkomponente von Instruction Following Aufgaben, da jegliche Art von Manipulation sehr wahrscheinlich eine Beschreibung des Objektes erfordert. Wegen derWichtigkeit und Komplexität ist dies eine der am meisten untersuchten Gebiete der Textgenerierung. In dieser Thesis verwenden wir Semantisch Interpretierte Grammatik, eine Methode, die sowohl die Generierung von Referring Expressions (Identifizierung von Eigenschaften für eine eindeutige Beschreibung) als auch Surface Realization (Kombinieren dieser Eigenschaften in eine konkrete Substantivgruppe) integriert. Die Komplexität der Durchführung, Aufzeichnung und Analyse von Instruction Following Aufgaben in der realen Welt ist eine der großen Herausforderungen der Instruction Following Forschung. Um sowohl die Entwicklung neuer Algorithmen und den Zugang zu diesen Ergebnissen durch die Wissenschaftsgemeinde zu vereinfachen, wird unsere Arbeit in einer Virtuellen Umgebung bewertet. Eine virtuelle Umgebung ahmt die Hauptaspekte der realen Welt nach und nimmt Ablenkungen weg, während genug Eigenschaften der realen Welt erhalten bleiben, um verwendbar für die Untersuchung zu sein. Die Auswahl der angebrachten virtuellen Umgebung für eine Forschungsaufgabe gewährleistet, dass die Ergebnisse auch in der realenWelt anwendbar sind. Wir haben eine virtuelle Umgebung der GIVE Challenge ausgesucht â˘A ¸S eine Umgebung, die für eine Instruction Following Aufgabe entworfen wurde, in der ein menschlicher Instruction Follower mit einem automatischen Instruction Giver in einer Labyrinth-artigen 3D Welt verbunden wird. Die Aufgabe zu beenden erfordert Navigation im Raum, Vermeidung von Alarmen, Interagieren mit Objekten, Textgenerierung und Verhindern von Fehlern, die zu einer vorzeitigen Beendung der Aufgabe führen. Sogar unter diesen vereinfachten Bedingungen stellt die Aufgabe mehrere rechentechnische Herausforderungen dar: die Aufgabe in Echtzeit durchzuführen erfordert schnelle Algorithmen, und die Effizienz unserer Methode zu gewährleisten bleibt Priorotät in jedem Schritt. Unser erstes Experiment identifiziert die herausfordernste Art von Fehlern, die unser System erwartungsgemäß finden soll. Durch den Entwurf eines Instruction Following Systems, das sich zuvor aufgezeichnete menschliche Daten zu Nutze macht und durch die Nutzung eines einfachen gierigen Algorithmus Intruktionen folgt, grenzen wir klar die Situationen ab, die keine weitere Studie rechtfertigen, von denen, die interessant für unsere Forschung sind. Wir testen unseren Algorithmus mit Ähnlichkeitsmaßen verschiedener Komplexität, die sich von Überlappungsmaßnahmen wie Jaccard und Editierdistanzen, bis zu fortgeschrittenen Algorithmen des Maschinellen Lernens erstrecken. Die am besten ausführenden Algorithmen erreichen nicht nur gute Genauigkeit sondern tatsächlich zeigen wir, dass Fehler hoch korreliert sind mit Situationen, die auch herausfordernd für menschliche Kommentatoren sind. In einem weiteren Schritt untersuchen wir die Art von Verbesserung, die von unserem System erwartet werden kann wenn wir ihm die Chance geben, es wieder zu versuchen nachdem ein Fehler gemacht wurde. Dieses System macht keine vorherigen Annahmen darüber, welche Aktionen am wahrscheinlichsten als nächstes ausgewählt werden und unsere Ergebnisse liefern gute Argumente dafür, dass dieser Ansatz einer der schwächsten Aspekte ist. Um sich von einem Paradigma wegzubewegen, in dem alle Aktionen gleich wahrscheinlich betrachtet werden, zu einem Model, in dem das Handeln des Instruction Followers in Betracht gezogen wird, ist unser folgender Schritt die Entwicklung eines Systems, dass explizit das Verständnis des Anwenders modelliert. Voraussetzend, dass die Instruktion eine Referring Expression beinhaltet, gehen wir das Verstehen des Instruction Followers mit einer Kombination aus zwei probabilistischen Modellen an. Das semantische Modell verwendet Eigenschaften der Referring Expression um zu identifizieren, welches Objekt wahrscheinlicher ausgewählt wird: wenn die Instruktion einen roten Knopf benennt, ist es unwahrscheinlich, dass der Instruction Follower den blauen wählt. Das Beobachtungsmodell dagegen sagt vorher, welches Objekt von dem Instruction Follower basierend auf seinem Verhalten gewählt wird: wenn der Anwender direkt auf ein spezifisches Objekt zuläuft, ist es sehr wahrscheinlich, dass er dieses auswählt. Diese zwei log-linearen, probabilistischen Modelle wurden mit aufgezeichneten menschlichen Daten von der GIVE Challenge trainiert. Daraus resultiert ein Modell, welches effektiv vorhersagen kann, dass ein Missverständnis geschehen wird, mehrere Sekunden bevor es tatsächlich passiert. Durch die Nutzung unseres Kombinierten Modells können wir leicht Missverständnisse feststellen und vorhersagen: wenn der Instruction Giver zu dem Instruction Follower sagt „betätige den roten Knopf”, und das Kombinierte Modell feststellt, dass der Instruction Follower den blauen wählen will, wissen wir, dass ein Missverständnis stattgefunden hat. Zusätzlich wissen wir beide Fakten früh genug, um eine Korrektur vorzunehmen, die den Instruction Follower davon abhält, den Fehler in erster Linie zu begehen. Eine Folgestudie erweitert das Beobachtungsmodell, indem Eigenschaften des Instruction Followers basierend auf dessen Blickrichtung eingeführt werden. Die Blickrichtung korreliert mit der Aufmerksamtkeit von Menschen, und unsere Studie untersucht, ob Blick-basierte Eigenschaften die Genauigkeit des Beobachtungsmodells verbessern können. Durch die Nutzung vorherig gesammelter Daten aus der GIVE Umgebung, in welcher die Blickrichtung mithilfe einer Augenverfolgungsausstattung aufgezeichnet wurde, verbessert das resultierende Erweiterte Beobachtungsmodell die Genauigkeit der Vorhersagen in herausfordernden Vorgängen, in der die Anzahl der Ablenkungen hoch ist. Durch den Besitz einer verlässlichen Methode für die Feststellung von Missverständnissen wenden wir unsere Aufmerksamkeit in Richtung Korrekturen. Eine korrigierende Referring Expression ist nicht nur für die Identifikation eines einzelnes Objekts aus vielen entworfen, sondern für die Feststellung der zuvor falschen Identifikation eines Objekts. Die einfachst mögliche korrigierende Referring Expression ist dieWiederholung: wenn der Anwender die Aussage „der rote Knopf” das erste Mal falsch verstanden hat, ist es möglich, dass er es beim zweiten Mal richtig versteht. Eine klügere Methode ist, die Referring Expression so umzuformulieren, dass es für den Instruction Follower leichter ist, sie zu verstehen. Wir entwarfen und evaluierten zwei verschiedene Strategien für die Generierung von korrigierender Rückmeldung. Die erste dieser Strategien nutzt das pragmatische Konzept eines Context Sets, nachdem menschliche Aufmerksamkeit in Objekte unterteilt wird, denen Aufmerksamkeit zukommt (innerhalb des Context Sets) und denen, die ignoriert werden. Nach unserer Theorie könnten wir nahezu alle Objekte außerhalb des Context Sets ignorieren und Referring Expressions generieren, die nicht eindeutig mit Bezug auf den gesamten Kontext identifizieren, aber genug für den Instruction Follower. Zum Beispiel, wenn der Anwender unentschieden ist zwischen einem roten und einem blauen Knopf, könnten wir die Referring Expression „der Rote” generieren, sogar wenn es noch andere rote Knöpfe in der Szene gibt, auf die der Anwender nicht achtet. Durch die Nutzung unseres probabilistischen Modells als Maß dafür, welches Element in das Context Set einbezogen wird, modifizieren wir den Generierungsalgorithmus der Referring Expression, um Sätze zu bilden, die explizit dieses Verhalten einbeziehen. Wir haben Experimente in der GIVE Challenge virtuellen Umgebung, mit einem Crowdsource Datensammlungsprozess durchgeführt, mit gemischten Ergebnissen: sogar wenn unsere Definition von Context Set richtig gewesen wäre (ein Punkt, den unsere Ergebnisse weder bestätigen noch widerlegen), generiert unsere Strategie Referring Expressions, die einige Fehler verhindern aber generell schwieriger zu verstehen sind als der Basisansatz. Die Ergebnisse gehen einher mit einer umfangreichen Fehleranalyse des Algorithmus’; sie legen nah, dass Korrekturen den Instruction Follower dazu veranlassen, die gesamte Situation in einem neuen Licht zu bewerten, wodurch unsere vorherige Definition von Context Set unbrauchbar wird. Unsere Methode ist weiterhin nicht in der Lage, bereits zuvor verstandene Objekte zu identifizieren, wodurch die Anzahl der pragmatischen Effekte steigt, die sich gegen diese Methode stellen. Die zweite Strategie für eine korrigierende Rückmeldung besteht darin, einen Gegensatzfokus zu einer zweiten korrigierenden Referring Expression hinzuzufügen. In einem Szenario, in dem der Anwender die Referring Expression „der rote Knopf” erhält und trotzdem fälschlicherweise den blauen wählt, würde ein Ansatz mit Gegensatzfokus „nein, der ROTE Knopf” als Korrektur generieren. Solch eine Referring Expression macht dem Instruction Follower klar, dass einerseits die Auswahl eines Objekts des Typ „Knopf” richtig war, und andererseits die Eigenschaft „Farbe” eine Neubewertung benötigt. In unserer Methode modellieren wir ein Missverständnis mit einer noisy channel Verfälschung: der Instruction Giver generiert eine korrekte Referring Expression für ein bestimmtes Objekt aber es wird bei der Übertragung verfälscht und erreicht den Instruction Follower in der Form einer veränderten, inkorrekten Referring Expression.Wir korrigieren die Fehlinterpretation durch die Generierung einer neuen, korrigierenden Referring Expression: ausgehend von der originalen Referring Expression und dem missverstandenem Objekt, identifizieren wir die Bestandteile der Referring Expression, die verfälscht wurden und legen einen gegensätzlichen Fokus auf sie. Unsere Hypothese besagt, dass die minimale Überarbeitungssequenz zwischen der originalen und der missverstandenen Referring Expression die Bestandteile korrekt identifiziert, die einen gegesätzlichen Fokus erfordern - eine Behauptung, die wir experimentell bestätigen. Wir führen Crowdsource Tests mit verschiedenen Varianten dieser Idee durch, wobei wir Referring Expressions evaluieren, die entweder einen Kontrast darstellen (z.B. „nein, nicht der BLAUE Knopf, der ROTE Knopf”) oder versuchen, die überflüssige Information zu entfernen (z.B. „nein, der ROTE”). Wir evaluieren unsere Ansätze durch die Nutzung von sowohl einfachen Szenen der GIVE Challenge als auch komplizierteren Bildern aus dem mehr herausfordernden TUNA people corpus. Unsere Ergebnisse zeigen, dass menschliche Anwender unseren unkompliziertesten gegensätzlichen Algorithmus signifikant bevorzugen. Zusätzlich zu den detaillierten Modellen und Strategien zur Missverständnisfestellung und -korrektur, beinhaltet diese Thesis praktische Hinweise, die in Betracht gezogen werden müssen wenn man mit Aufgaben zu tun hat, die ähnlich zu den hier diskutierten sind. Wir richten besonderes Augenmerk auf Crowdsourcing, eine Praxis, bei der durch Aufgaben Daten von Teilnehmern aus aller Welt zu niedrigeren Kosten als durch traditionelle Alternativen gesammelt werden können. Wissenschaftler, die daran interessiert sind, Crowdsource Daten zu verwenden, müssen oft sowohl mit unmotivierten Spielern umgehen, als auch mit Spielern, deren Hauptmotivation es ist, so viele Aufgaben in so kurzer Zeit wie möglich zu lösen. Ein Crowdsource Experiment zu entwerfen erfordert eine vielseitige Methodik: die Aufgabe muss so entwickelt sein, dass sie einen ehrlichen Spieler motiviert, andere Spieler vom Betrügen abhält, technische MaΚe zum Feststellen schlechter Daten implementiert, und unerwünschtes Verhalten verhindert mit Blick auf die gesamte Pipeline und einem „Sicherheit zuerst”- Ansatz. Wir widmen ein ganzes Kapitel dieser Problematik und präsentieren ein komplettes Beispiel, das zweifelsfrei hilfreich für künftige Forschung sein wird. Weiterhin fügen wir Sektionen ein, die sich der Theorie hinter unseren Anwendungen widmen. Hintergrundliteratur beinhaltet die Pragmatik von Dialogen, Missverständnissen und Fokus, die Verbindung zwischen Blickrichtung und visueller Aufmerksamkeit und der Evolution von Methoden für die Generierung von Referring Expressions. Zusätzlich präsentieren wir Berichte, die die Motivation von Crowdsource Arbeitern untersuchen, sowohl aus einer theoretischen als auch aus einer experimentellen Perspektive â˘A ¸S die erstere durch Aufgreifen von Konzepten aus der Psychologie undWirtschaft, und die zweitere durch Experimente, die zum Testen der Ehrlichkeit des Arbeiters entworfen wurden. Dieser Hintergrund bringt unsere Methoden und Ergebnisse in Verbindung mit Bezug zu breitgefächerten Fachgebieten, die uns ermöglichen nicht nur zu erklären, dass unsere Methoden funktionieren sondern auch warum sie funktionieren. Wir beenden unsere Arbeit mit einem kurzen Überblick über künftige Forschungsbereiche. Forschung zur Vorhersage, Feststellung und Korrektur von Missverständnissen für eine Vielzahl von Umwelten ist bereits unterwegs. Mit der Einführung von fortgeschrittenen virtuellen Umgebungen, modern ausgedrückt, Dialog-basierte Werkzeuge, die den Markt von Heimgeräten, Rechenkraft und vereinfachtem Datenzugriff revolutionieren, erwarten wir, dass die hier präsentierten Ergebnisse sich für Forscher in mehreren Bereichen der natürlichen Sprachverarbeitung auf Jahre hinaus als nützlich erweisen werden.
Link to this record: urn:nbn:de:bsz:291--ds-296483
hdl:20.500.11880/28322
http://dx.doi.org/10.22028/D291-29648
Advisor: Koller, Alexander
Date of oral examination: 16-Aug-2019
Date of registration: 19-Nov-2019
Faculty: P - Philosophische Fakultät
Department: P - Sprachwissenschaft und Sprachtechnologie
Collections:SciDok - Der Wissenschaftsserver der Universität des Saarlandes

Files for this record:
File Description SizeFormat 
drucken_villalba.pdfPrintable version of the PhD Thesis8 MBAdobe PDFView/Open


This item is licensed under a Creative Commons License Creative Commons