Bitte benutzen Sie diese Referenz, um auf diese Ressource zu verweisen: doi:10.22028/D291-42288
Volltext verfügbar? / Dokumentlieferung
Titel: Visual Coherence Loss for Coherent and Visually Grounded Story Generation
VerfasserIn: Hong, Xudong
Demberg, Vera
Sayeed, Asad
Zheng, Qiankun
Schiele, Bernt
HerausgeberIn: Can, Burcu
Sprache: Englisch
Titel: The 8th Workshop on Representation Learning for NLP (RepL4NLP 2023) - proceedings of the workshop : July 13, 2023 : ACL 2023
Seiten: 9456–9470
Verlag/Plattform: ACL
Erscheinungsjahr: 2023
Erscheinungsort: Stroudsburg, PA
Konferenzort: Toronto, Canada
DDC-Sachgruppe: 004 Informatik
400 Sprache, Linguistik
Dokumenttyp: Konferenzbeitrag (in einem Konferenzband / InProceedings erschienener Beitrag)
Abstract: Local coherence is essential for long-form text generation models. We identify two important aspects of local coherence within the visual storytelling task: (1) the model needs to represent re-occurrences of characters within the image sequence in order to mention them correctly in the story; (2) character representations should enable us to find instances of the same characters and distinguish different characters. In this paper, we propose a loss function inspired by a linguistic theory of coherence for self-supervised learning for image sequence representations. We further propose combining features from an object and a face detector to construct stronger character features. To evaluate input-output relevance that current reference-based metrics don’t measure, we propose a character matching metric to check whether the models generate referring expressions correctly for characters in input image sequences. Experiments on a visual story generation dataset show that our proposed features and loss function are effective for generating more coherent and visually grounded stories.
DOI der Erstveröffentlichung: 10.18653/v1/2023.findings-acl.603
URL der Erstveröffentlichung: https://aclanthology.org/2023.findings-acl.603/
Link zu diesem Datensatz: urn:nbn:de:bsz:291--ds-422881
hdl:20.500.11880/37959
http://dx.doi.org/10.22028/D291-42288
ISBN: 978-1-959429-77-7
Datum des Eintrags: 27-Jun-2024
Fakultät: MI - Fakultät für Mathematik und Informatik
Fachrichtung: MI - Informatik
Professur: MI - Prof. Dr. Vera Demberg
Sammlung:SciDok - Der Wissenschaftsserver der Universität des Saarlandes

Dateien zu diesem Datensatz:
Es gibt keine Dateien zu dieser Ressource.


Alle Ressourcen in diesem Repository sind urheberrechtlich geschützt.