Bitte benutzen Sie diese Referenz, um auf diese Ressource zu verweisen: doi:10.22028/D291-38845
Volltext verfügbar? / Dokumentlieferung
Titel: Improving Zero-Shot Multilingual Text Generation via Iterative Distillation
VerfasserIn: Chang, Ernie
Marin, Alex
Demberg, Vera
HerausgeberIn: Scherrer, Yves
Sprache: Englisch
Titel: Proceedings of the Ninth Workshop on NLP for Similar Languages, Varieties and Dialects (VarDial 2022) - the 29th International Conference on Computational Linguistics : October 12-17, 2022, Gyeongju, Republic of Korea
Seiten: 5876-5881
Verlag/Plattform: ACL
Erscheinungsjahr: 2022
Erscheinungsort: [Stroudsburg, PA]
Konferenzort: Gyeongju, Republic of Korea
DDC-Sachgruppe: 400 Sprache, Linguistik
Dokumenttyp: Konferenzbeitrag (in einem Konferenzband / InProceedings erschienener Beitrag)
Abstract: The demand for multilingual dialogue systems often requires a costly labeling process, where human translators derive utterances in low resource languages from resource rich language annotation. To this end, we explore leveraging the inductive biases for target languages learned by numerous pretrained teacher models by transferring them to student models via sequence-level knowledge distillation. By assuming no target language text, the both the teacher and student models need to learn from the target distribution in a few/zero-shot manner. On the MultiATIS++ benchmark, we explore the effectiveness of our proposed technique to derive the multilingual text for 6 languages, using only the monolingual English data and the pretrained models. We show that training on the synthetic multilingual generation outputs yields close performance to training on human annotations in both slot F1 and intent accuracy; the synthetic text also scores high in naturalness and correctness based on human evaluation.
URL der Erstveröffentlichung: https://aclanthology.org/2022.coling-1.513/
Link zu diesem Datensatz: urn:nbn:de:bsz:291--ds-388456
hdl:20.500.11880/35024
http://dx.doi.org/10.22028/D291-38845
Datum des Eintrags: 30-Jan-2023
Fakultät: MI - Fakultät für Mathematik und Informatik
Fachrichtung: MI - Informatik
Professur: MI - Prof. Dr. Vera Demberg
Sammlung:SciDok - Der Wissenschaftsserver der Universität des Saarlandes

Dateien zu diesem Datensatz:
Es gibt keine Dateien zu dieser Ressource.


Alle Ressourcen in diesem Repository sind urheberrechtlich geschützt.