The Art of Speech Synthesis and Voice Cloning

Bc. Madeleine Apolenová

Master's thesis

Abstract:

Obrovský pokrok vo výskume umelej inteligencie, okrem zábavného a kreatívneho priemyslu, svetu technológií a vedy, zaujal predovšetkým tvorcov dezinformačného obsahu. Diplomová práca skúma oblasť umelej inteligencie, syntetických médií a ich kreatívne využitie v oblasti sound designu a audio produkcie či postprodukcie. Existuje množstvo výskumov v tejto oblasti, ktoré sa však vo väčšine prípadoch zameriavajú na vizuálny a textový obsah. Primárnym predmetom skúmania tejto diplomovej práce sa stáva zvuk a jeho pochopenie v rámci syntézi reči, umelej generácii hlasu a deepfake prostredia. Práca tak odhaľuje potrebu skúmať oblasť AI generovaného audia a audio deepfakes. Autorka si kladie za cieľ nadviazať na výskum v oblasti zvukových syntetických médií a poskytnúť ucelený prehľad o ich problematike a zároveň nový pohľad, ktorý pomôže čitateľovi sa v oblasti deepfake lepšie orientovať. Cieľom prvej časti práce bude teoretické skúmanie tohto fenoménu, ktoré by malo poskytnúť základ pre nasledujúce využitie získaných poznatkov v praktickej, kreatívnej časti. Druhá, praktická časť si prostredníctvom tvorby ukážok kladie za cieľ zvýšiť povedomie o umelej inteligencii, syntéze médií, audio deepfakes, ich výstrahách, rýchlom šírení, jednoduchej výrobe, ale za to zložitejšej detekcie.

Abstract:

In addition to the entertainment and creative industries, the world of technology and science, the huge progress in artificial intelligence research has attracted the attention of creators of disinformation content. The diploma thesis examines the field of artificial intelligence, synthetic media and their creative use in the field of sound design and audio production or post-production. There is a lot of research in this area, but in most cases it focuses on visual and textual content. Sound and its understanding within the framework of speech synthesis, artificial voice generation and deepfake environment become the primary subject of investigation of this thesis. The work thus reveals the need to investigate the field of AI generated audio and audio deepfakes. The author aims to follow up on research in the field of audio synthetic media and to provide a comprehensive overview of their issues and at the same time a new perspective that will help the reader better navigate the field of deepfakes. The aim of the first part of the thesis will be the theoretical investigation of this phenomenon, which should provide a basis for the subsequent use of the acquired knowledge in the practical, creative part. The second, practical part, through the creation of demonstrations, aims to raise awareness of artificial intelligence, media synthesis, audio deepfakes, their warnings, rapid spread, simple production, but more complex detection.

Keywords

generovaná reč, generovaný hlas, audio deepfake, umelá inteligencia, syntetické média, strojové učenie, hlboké učenie, klonovanie hlasu, syntéza reči, text-to-speech, speech-to-speech, neurónová sieť, generatívna sieť, ADR

Language used: English

Date on which the thesis was submitted / produced: 7. 5. 2024

Thesis defence

• Date of defence: 13. 6. 2024
• Supervisor: Mgr. Daniel Kvak
• Reader: doc. Mgr. Jozef Cseres, PhD.

Masaryk University

Faculty of Arts

Master programme / field:
Sound Design and Multimedial Technology / Sound Design and Multimedial Technology