Please use this identifier to cite or link to this item: doi:10.22028/D291-31368
Title: Registration and statistical analysis of the tongue shape during speech production
Author(s): Hewer, Alexander
Language: English
Year of Publication: 2019
DDC notations: 004 Computer science, internet
Publikation type: Dissertation
Abstract: This thesis analyzes the human tongue shape during speech production. First, a semi-supervised approach is derived for estimating the tongue shape from volumetric magnetic resonance imaging data of the human vocal tract. Results of this extraction are used to derive parametric tongue models. Next, a framework is presented for registering sparse motion capture data of the tongue by means of such a model. This method allows to generate full three-dimensional animations of the tongue. Finally, a multimodal and statistical text-to-speech system is developed that is able to synthesize audio and synchronized tongue motion from text.
Diese Dissertation beschäftigt sich mit der Analyse der menschlichen Zungenform während der Sprachproduktion. Zunächst wird ein semi-überwachtes Verfahren vorgestellt, mit dessen Hilfe sich Zungenformen von volumetrischen Magnetresonanztomographie- Aufnahmen des menschlichen Vokaltrakts schätzen lassen. Die Ergebnisse dieses Extraktionsverfahrens werden genutzt, um ein parametrisches Zungenmodell zu konstruieren. Danach wird eine Methode hergeleitet, die ein solches Modell nutzt, um spärliche Bewegungsaufnahmen der Zunge zu registrieren. Dieser Ansatz erlaubt es, dreidimensionale Animationen der Zunge zu erstellen. Zuletzt wird ein multimodales und statistisches Text-to-Speech-System entwickelt, das in der Lage ist, Audio und die dazu synchrone Zungenbewegung zu synthetisieren.
Link to this record: urn:nbn:de:bsz:291--ds-313685
hdl:20.500.11880/29411
http://dx.doi.org/10.22028/D291-31368
Advisor: Steiner, Ingmar
Date of oral examination: 27-May-2020
Date of registration: 9-Jul-2020
Third-party funds sponsorship: German Research Foundation
Sponsorship ID: EXC 284
Faculty: MI - Fakultät für Mathematik und Informatik
Department: MI - Informatik
Professorship: MI - Keiner Professur zugeordnet
Collections:SciDok - Der Wissenschaftsserver der Universität des Saarlandes

Files for this record:
File Description SizeFormat 
HewerDoktorarbeit.pdf44,1 MBAdobe PDFView/Open


This item is licensed under a Creative Commons License Creative Commons