Bitte benutzen Sie diese Referenz, um auf diese Ressource zu verweisen:
Volltext verfügbar? / Dokumentlieferung
doi:10.22028/D291-42288
Titel: | Visual Coherence Loss for Coherent and Visually Grounded Story Generation |
VerfasserIn: | Hong, Xudong Demberg, Vera Sayeed, Asad Zheng, Qiankun Schiele, Bernt |
HerausgeberIn: | Can, Burcu |
Sprache: | Englisch |
Titel: | The 8th Workshop on Representation Learning for NLP (RepL4NLP 2023) - proceedings of the workshop : July 13, 2023 : ACL 2023 |
Seiten: | 9456–9470 |
Verlag/Plattform: | ACL |
Erscheinungsjahr: | 2023 |
Erscheinungsort: | Stroudsburg, PA |
Konferenzort: | Toronto, Canada |
DDC-Sachgruppe: | 004 Informatik 400 Sprache, Linguistik |
Dokumenttyp: | Konferenzbeitrag (in einem Konferenzband / InProceedings erschienener Beitrag) |
Abstract: | Local coherence is essential for long-form text generation models. We identify two important aspects of local coherence within the visual storytelling task: (1) the model needs to represent re-occurrences of characters within the image sequence in order to mention them correctly in the story; (2) character representations should enable us to find instances of the same characters and distinguish different characters. In this paper, we propose a loss function inspired by a linguistic theory of coherence for self-supervised learning for image sequence representations. We further propose combining features from an object and a face detector to construct stronger character features. To evaluate input-output relevance that current reference-based metrics don’t measure, we propose a character matching metric to check whether the models generate referring expressions correctly for characters in input image sequences. Experiments on a visual story generation dataset show that our proposed features and loss function are effective for generating more coherent and visually grounded stories. |
DOI der Erstveröffentlichung: | 10.18653/v1/2023.findings-acl.603 |
URL der Erstveröffentlichung: | https://aclanthology.org/2023.findings-acl.603/ |
Link zu diesem Datensatz: | urn:nbn:de:bsz:291--ds-422881 hdl:20.500.11880/37959 http://dx.doi.org/10.22028/D291-42288 |
ISBN: | 978-1-959429-77-7 |
Datum des Eintrags: | 27-Jun-2024 |
Fakultät: | MI - Fakultät für Mathematik und Informatik |
Fachrichtung: | MI - Informatik |
Professur: | MI - Prof. Dr. Vera Demberg |
Sammlung: | SciDok - Der Wissenschaftsserver der Universität des Saarlandes |
Dateien zu diesem Datensatz:
Es gibt keine Dateien zu dieser Ressource.
Alle Ressourcen in diesem Repository sind urheberrechtlich geschützt.