Bitte benutzen Sie diese Referenz, um auf diese Ressource zu verweisen:
Volltext verfügbar? / Dokumentlieferung
doi:10.22028/D291-38657
Titel: | Jointly Improving Language Understanding and Language Generation with Quality-Weighted Weak Supervision of Automatic Labeling |
VerfasserIn: | Chang, Ernie Demberg, Vera Marin, Alex |
Sprache: | Englisch |
Verlag/Plattform: | arXiv |
Erscheinungsjahr: | 2021 |
DDC-Sachgruppe: | 400 Sprache, Linguistik |
Dokumenttyp: | Sonstiges |
Abstract: | Neural natural language generation (NLG) and understanding (NLU) models are data-hungry and require massive amounts of annotated data to be competitive. Recent frameworks address this bottleneck with generative models that synthesize weak labels at scale, where a small amount of training labels are expert-curated and the rest of the data is automatically annotated. We follow that approach, by automatically constructing a large-scale weakly-labeled data with a fine-tuned GPT-2, and employ a semi-supervised framework to jointly train the NLG and NLU models. The proposed framework adapts the parameter updates to the models according to the estimated label-quality. On both the E2E and Weather benchmarks, we show that this weakly supervised training paradigm is an effective approach under low resource scenarios and outperforming benchmark systems on both datasets when 100% of training data is used. |
URL der Erstveröffentlichung: | https://arxiv.org/abs/2102.03551 |
Link zu diesem Datensatz: | urn:nbn:de:bsz:291--ds-386571 hdl:20.500.11880/34848 http://dx.doi.org/10.22028/D291-38657 |
Datum des Eintrags: | 4-Jan-2023 |
Bemerkung/Hinweis: | Preprint |
Fakultät: | MI - Fakultät für Mathematik und Informatik |
Fachrichtung: | MI - Informatik |
Professur: | MI - Prof. Dr. Vera Demberg |
Sammlung: | SciDok - Der Wissenschaftsserver der Universität des Saarlandes |
Dateien zu diesem Datensatz:
Es gibt keine Dateien zu dieser Ressource.
Alle Ressourcen in diesem Repository sind urheberrechtlich geschützt.