Generace textu umělou inteligencí.

Bc. Matyáš Levy

Bachelor's thesis

AI Text Generation

Abstract:

Tato práce se zabývá tréninkem českého jazykového modelu pro generaci fantasy textů a tvorbou doprovodné, uživatelsky přívětivé aplikace, která by měla umožnit tento model využít i uživatelům s menší znalostí umělé inteligence. Myslím si, že je spousta lidí, kteří by si pro své pobavení rádi takový text vygenerovali, ale jde o problematiku, která je pro ně příliš složitá. Proto by jistě ocenili nástroj, který jim právě tohle umožní. Také si myslím, že je potřeba se sílou a omezeními umělé inteligence seznámit více lidí, kteří se s ní v minulosti třeba neměli možnost setkat, což má pak za následek společenský strach z neznáma, který toto téma dnes doprovází. Proto je důležité, aby o něm širší veřejnost víc věděla. Cílem je vytvořit uživatelsky přívětivou aplikaci, která uživateli umožní generovat vlastní fantasy texty, případně si z mého modelu nacvičit model vlastní. Součástí mé práce je však i náhled do procesu tréninku českého jazykového modelu a ukázat, na jaké problémy může uživatel případně narazit. Práce má za výsledek jak hotový jazykový model, tak aplikaci, která ho dokáže využít. U samotného modelu mě zajímá kvalita a srozumitelnost textu, rád bych viděl, jak se umělá inteligence vypořádá s rody a obecně složitostí české gramatiky. Mou hypotézou je, že s gramatikou a rody bude mít problémy.

Abstract:

This work deals with the topic of a Czech AI language model, used for the generation of fantasy texts, as well as the creation of a related, user friendly tool, that will enable even users with no prior AI knowledge, to generate their own fantasy texts. I believe that there are many people out there today, that would enjoy generating their own texts of that sort, but don’t currently have the knowledge needed to do so with the currently available tools. That’s why they would enjoy having a tool that would do just that. I also think that we should enlighten them to the powers and weaknesses of AI’s more, so that the mainstream public, and the people who perhaps haven’t had the opportunity to interact with an AI text generator, don’t need to fear the unknown, as so many today do, in relation to currently existing AI applications. Being able to familiarize onself with a fun tool like this might make the prospects of AI more integrated in society more palitable. The goal of this work is to create a user friendly tool, that anyone can use to train a language model to their liking, or just simply generate a fantasy text, out of the box. My goal is also to show the process of training your own language model, as well as the hurdles one can go through, while doing so. The end result of this work will be an application that uses the language mode, as well as the model itself. When it comes to the model, I am mostly interested in the quality and understandability of its produced texts. I want to know, how well the AI will deal with the complexities of Czech grammar. My hypothesis is, not very well, I think it will struggle with it.

Keywords

Zpracovávání Přirozeného Jazyka, Umělá inteligence, Strojové Učení, Transformers, GPT-2.

Language used: Czech

Date on which the thesis was submitted / produced: 13. 4. 2023

Thesis defence

• Date of defence: 8. 6. 2023
• Supervisor: prof. Ing. Petr Berka, CSc.
• Reader: doc. RNDr. Jan Lánský, Ph.D.

University of Finance and Administration

Bachelor programme / field:
Applied Informatics / Applied Informatics