Natural Language Inference in Czech and Related Tasks

Mgr. Martin Víta

Doctoral thesis

Abstract:

Inference v přirozeném jazyce (NLI) patří k nejdůležitějším oblastem porozumění přirozenému jazyku. Je formulována jako klasifikační úloha dvojic vět (premisa-hypothéza) vzhledem k relaci vyplývání: zda daná hypotéza může být (člověkem) odvozena z dané premisy. Tato práce je zaměřená na úlohy související s úlohou NLI a na úlohy z ní odvozené a na zkoumání aplikací metod hlubokého učení pro úlohu NLI pro získávání univerzálně využitelných embeddingů (vektorových reprezentací) vět českého jazyka. Práce začíná přehledem úloh souvisejících s úlohou NLI, včetně inference z více premis, relační inference, částečného vyplývání atp. Následně představíme nové přístupy (založené na otevřené extrakci informací (open IE) pro vývoj korpusů pro několik zmíněných úloh souvisejících s úlohou NLI a stanovíme příslušné základní výsledky (baselines). Následující část je věnována výzkumu NLI úlohy v češtině. Pro tyto účely jsme pracovali se strojovým překladem textů ze známého korpusu SNLI. Popsali jsme a analyzovali jsme tuto českou verzi, nad níž jsme natrénovali několik modelů založených na architekturách z třídy InferSent. Provedli jsme analýzu a porovnání výsledků získaných z původní a z české verze tohoto korpusu. Jedna z navržených architektur je dále použita pro účely ``transfer learningu'' -- vektorové reprezentace českých vět mohou být použity v různých sémanticky orientovaných úlohách pro češtinu. Poslední část práce se zabývá nově představenou úlohou parafrázování metafor napříč jazyky (angličtina-čeština) jakožto další úlohou související s NLI.

Abstract:

Natural language inference (NLI), formerly known as recognizing textual entailment (RTE), is one of the most important fields of natural language understanding. It can be stated as a classification task of premise-hypothesis sentence pairs with respect to the entailment relation: whether a given hypothesis can be inferred (by a human) from a given premise. The thesis is focused on tasks related to or derived from NLI task and on exploiting deep learning approaches to NLI task for obtaining universally applicable sentence embeddings for Czech language. The thesis starts with a survey of tasks related to NLI, including multiple premise entailment, relation inference, partial entailment etc. Subsequently, it introduces novel methods (based on open IE extraction) for creating corpora for several mentioned NLI-related problems and it sets up several corresponding baselines. The next part of the thesis is devoted to investigations of NLI task in Czech. For this purpose, we deal with MT texts of a well known Stanford NLI corpus. We describe and analyze the Czech version of this corpus and train several InferSent-based models on it. We analyze and compare results achieved on the original and Czech variant of this corpus. One of the proposed architectures is used then for transfer learning purposes -- our embeddings of Czech sentences may be exploited in different semantically oriented tasks in Czech. The last part of the thesis elaborates on a newly introduced task of cross-lingual metaphor EN-CZ paraphrase task as another NLI related issue.

Keywords

NLI, natural language inference, textual entailment, RTE, recognizing textual entailment, relation inference, paraphrase detection, Czech SNLI corpus, STS, semantic textual similarity

Language used: English

Date on which the thesis was submitted / produced: 6. 8. 2020

Thesis defence

• Date of defence: 11. 12. 2020
• Supervisor: prof. PhDr. Karel Pala, CSc.
• Reader: Dr. phil. Evangelia Kordoni, Dr. Ing. Maciej Piasecki, prof. Ing. Vojtěch Svátek, Dr.

Masaryk University

Faculty of Informatics

Doctoral programme / field:
Informatics (4-years) / Computer Systems and Technologies