Bitte benutzen Sie diese Referenz, um auf diese Ressource zu verweisen:
Volltext verfügbar? / Dokumentlieferung
doi:10.22028/D291-30987
Titel: | Crowdsourcing discourse interpretations: On the influence of context and the reliability of a connective insertion task |
VerfasserIn: | Scholman, Merel Cleo Johanna Demberg, Vera |
HerausgeberIn: | Schneider, Nathan Xue, Nianwen |
Sprache: | Englisch |
Titel: | 11th Linguistic Annotation Workshop - proceedings of the workshop : EACL Workshop, April 3, 2017, Valencia, Spain : LAW XI 2017 |
Startseite: | 24 |
Endseite: | 33 |
Verlag/Plattform: | ACL |
Erscheinungsjahr: | 2017 |
Erscheinungsort: | Stroudsburg, PA |
Titel der Konferenz: | LAW XI 2017 |
Konferenzort: | Valencia, Spain |
Dokumenttyp: | Konferenzbeitrag (in einem Konferenzband / InProceedings erschienener Beitrag) |
Abstract: | Traditional discourse annotation tasks are considered costly and time-consuming, and the reliability and validity of these tasks is in question. In this paper, we investigate whether crowdsourcing can be used to obtain reliable discourse relation annotations. We also examine the influence of context on the reliability of the data. The results of a crowdsourced connective insertion task showed that the method can be used to obtain reliable annotations: The majority of the inserted connectives converged with the original label. Further, the method is sensitive to the fact that multiple senses can often be inferred for a single relation. Regarding the presence of context, the results show no significant difference in distributions of insertions between conditions overall. However, a by-item comparison revealed several characteristics of segments that determine whether the presence of context makes a difference in annotations. The findings discussed in this paper can be taken as evidence that crowdsourcing can be used as a valuable method to obtain insights into the sense(s) of relations. |
DOI der Erstveröffentlichung: | 10.18653/v1/W17-0803 |
URL der Erstveröffentlichung: | https://www.aclweb.org/anthology/W17-0803/ |
Link zu diesem Datensatz: | hdl:20.500.11880/29698 http://dx.doi.org/10.22028/D291-30987 |
ISBN: | 978-1-945626-39-5 |
Datum des Eintrags: | 22-Sep-2020 |
Fakultät: | MI - Fakultät für Mathematik und Informatik |
Fachrichtung: | MI - Informatik |
Professur: | MI - Prof. Dr. Vera Demberg |
Sammlung: | SciDok - Der Wissenschaftsserver der Universität des Saarlandes |
Dateien zu diesem Datensatz:
Es gibt keine Dateien zu dieser Ressource.
Alle Ressourcen in diesem Repository sind urheberrechtlich geschützt.