Automatické stahování smluvních podmínek z webových stránek

Vojtěch BARTIČKA

Bakalářská práce

Automated scraping of licence agreements from websites

Anotace:

Práce se zabývá automatickým stahováním smluvních podmínek a zásad ochrany údajů z webových stránek. Je součástí většího projektu, který se zabývá analýzou obsahu těchto stránek a potřebuje pro ni trénovací dataset. Cílem je vytvořit aplikaci, která bude schopna tento dataset automaticky vytvořit. Jako základní řešení jsou použita pravidla založená na klíčových slovech. Toto řešení nám umožní získat dataset, pomocí kterého je vytvořena neuronová síť, která dále zlepšuje výsledky. Omezením kapacity sítě a zakrytím klíčových slov pak sítě dosahují zlepšení 6 až 9 % v f-míře, a až 71% snížení falešné pozitivity oproti klasifikaci pomocí klíčových slov.

Abstract:

The thesis deals with the automatic scraping of terms and conditions and privacy protection information from web pages. It's a part of a larger project which focuses on the analysis of such pages and requires a dataset to train the system on. The goal is to create an application, which will be able to automatically create this dataset. As a baseline solution, a keyword-based system is used. This system allows us to create a dataset, on which we can train a neural network, which further enhances the results. By limiting the capacity of the network and hiding the keywords the network achieves a 6 to 9% improvement in f-score and up to 71% reduction in false positivity compared to the keywords-based system.

Klíčová slova

zpracování přirozeného jazyka, strojové učení, sémantické reprezentace slov, získávání informací, klasifikace textu, neuronové sítě, FastText

Jazyk práce: čeština

Datum vytvoření / odevzdání či podání práce: 6. 5. 2021

Zveřejnit od: 31. 12. 2999

Obhajoba závěrečné práce

• Vedoucí: Ing. Ondřej Pražák

ZÁPADOČESKÁ UNIVERZITA V PLZNI

Fakulta aplikovaných věd

Bakalářský studijní program / obor:
Inženýrská informatika / Informatika