Bitte benutzen Sie diese Referenz, um auf diese Ressource zu verweisen: doi:10.22028/D291-42275
Volltext verfügbar? / Dokumentlieferung
Titel: ChatGPT vs Human-authored Text: Insights into Controllable Text Summarization and Sentence Style Transfer
VerfasserIn: Pu, Dongqi
Demberg, Vera
HerausgeberIn: Padmakumar, Vishakh
Sprache: Englisch
Titel: The 61st Annual Meeting of the Association for Computational Linguistics - proceedings of the Student Research Workshop : July 10-12, 2023 : ACL-SRW 2023
Seiten: 1-18
Verlag/Plattform: ACL
Erscheinungsjahr: 2023
Erscheinungsort: Stroudsburg, PA
Konferenzort: Toronto, Canada
DDC-Sachgruppe: 004 Informatik
400 Sprache, Linguistik
Dokumenttyp: Konferenzbeitrag (in einem Konferenzband / InProceedings erschienener Beitrag)
Abstract: Large-scale language models, like ChatGPT, have garnered significant media attention and stunned the public with their remarkable capacity for generating coherent text from short natural language prompts. In this paper, we aim to conduct a systematic inspection of ChatGPT's performance in two controllable generation tasks, with respect to ChatGPT's ability to adapt its output to different target audiences (expert vs. layman) and writing styles (formal vs. informal). Additionally, we evaluate the faithfulness of the generated text, and compare the model's performance with human-authored texts. Our findings indicate that the stylistic variations produced by humans are considerably larger than those demonstrated by ChatGPT, and the generated texts diverge from human samples in several characteristics, such as the distribution of word types. Moreover, we observe that ChatGPT sometimes incorporates factual errors or hallucinations when adapting the text to suit a specific style.
Link zu diesem Datensatz: urn:nbn:de:bsz:291--ds-422754
hdl:20.500.11880/37955
http://dx.doi.org/10.22028/D291-42275
ISBN: 978-1-959429-69-2
Datum des Eintrags: 26-Jun-2024
Fakultät: MI - Fakultät für Mathematik und Informatik
Fachrichtung: MI - Informatik
Professur: MI - Prof. Dr. Vera Demberg
Sammlung:SciDok - Der Wissenschaftsserver der Universität des Saarlandes

Dateien zu diesem Datensatz:
Es gibt keine Dateien zu dieser Ressource.


Alle Ressourcen in diesem Repository sind urheberrechtlich geschützt.