Please use this identifier to cite or link to this item:
doi:10.22028/D291-31368
Title: | Registration and statistical analysis of the tongue shape during speech production |
Author(s): | Hewer, Alexander |
Language: | English |
Year of Publication: | 2019 |
DDC notations: | 004 Computer science, internet |
Publikation type: | Dissertation |
Abstract: | This thesis analyzes the human tongue shape during speech production. First, a semi-supervised approach is derived for estimating the tongue shape from volumetric magnetic resonance imaging data of the human vocal tract. Results of this extraction are used to derive parametric tongue models. Next, a framework is presented for registering sparse motion capture data of the tongue by means of such a model. This method allows to generate full three-dimensional animations of the tongue. Finally, a multimodal and statistical text-to-speech system is developed that is able to synthesize audio and synchronized tongue motion from text. Diese Dissertation beschäftigt sich mit der Analyse der menschlichen Zungenform während der Sprachproduktion. Zunächst wird ein semi-überwachtes Verfahren vorgestellt, mit dessen Hilfe sich Zungenformen von volumetrischen Magnetresonanztomographie- Aufnahmen des menschlichen Vokaltrakts schätzen lassen. Die Ergebnisse dieses Extraktionsverfahrens werden genutzt, um ein parametrisches Zungenmodell zu konstruieren. Danach wird eine Methode hergeleitet, die ein solches Modell nutzt, um spärliche Bewegungsaufnahmen der Zunge zu registrieren. Dieser Ansatz erlaubt es, dreidimensionale Animationen der Zunge zu erstellen. Zuletzt wird ein multimodales und statistisches Text-to-Speech-System entwickelt, das in der Lage ist, Audio und die dazu synchrone Zungenbewegung zu synthetisieren. |
Link to this record: | urn:nbn:de:bsz:291--ds-313685 hdl:20.500.11880/29411 http://dx.doi.org/10.22028/D291-31368 |
Advisor: | Steiner, Ingmar |
Date of oral examination: | 27-May-2020 |
Date of registration: | 9-Jul-2020 |
Third-party funds sponsorship: | German Research Foundation |
Sponsorship ID: | EXC 284 |
Faculty: | MI - Fakultät für Mathematik und Informatik |
Department: | MI - Informatik |
Professorship: | MI - Keiner Professur zugeordnet |
Collections: | SciDok - Der Wissenschaftsserver der Universität des Saarlandes |
Files for this record:
File | Description | Size | Format | |
---|---|---|---|---|
HewerDoktorarbeit.pdf | 44,1 MB | Adobe PDF | View/Open |
This item is licensed under a Creative Commons License