Classification and Named Entity Recognition in Airline Emails

Bc. Bruno Húževka

Master's thesis

Anotácia:

Táto práca sa zameriava na preskúmanie efektívnosti modelu BERT (Bidirectional Encoder Representations from Transformers) pri spracovávaní emailov o zmenách v leteckých itinerároch z datasetu poskytnutého spoločnosťou Kiwi.com. Dva výskumné ciele sú klasifikácia emailov do niekoľkých kategórií popisujúcich rôzne zmeny v itinerári a rozpoznávanie pomenovaných entít (NER) rezervačných a letových informácií obsiahnutých v texte emailov. V práci navrhujeme kompletné semi-automatizované riešenie na prípravu datasetu. Toto riešenie predspracováva emaily do požadovaného formátu, triedi ich do štrukturálne príbuzných skupín, anotuje tieto skupiny relevantnými cieľovými značkami pre text emailov a entity v nich obsiahnuté a transformuje finálne dátové body do datasetov spracovateľných modelom BERT pre predtréning, klasifikáciu a NER úlohy. Porovnávame výkonnosť rôznych trénovacích stratégií, a na základe získaných výsledkov a diskusie dochádzame k záveru, že model BERT dosahuje mimoriadne dobré výsledky v oboch meraných úlohách a s ďalšími vylepšeniami môže byť použitý v produkčnom spracovávaní emailov.

Abstract:

This thesis aims to explore the effectiveness of the BERT (Bidirectional Encoder Representations from Transformers) model in processing airline itinerary change emails from a dataset provided by Kiwi.com. The two research targets are email classification into several categories describing different itinerary changes and named entity recognition (NER) of reservation and flight information contained within the email text. In the thesis, we propose a complete dataset preparation semi-automated pipeline. The pipeline preprocesses data points into a required format, sorts emails into structurally related groups, annotates these groups by relevant target labels for email text and entities contained within it, and transforms final data points into BERT consumable datasets for several pretraining, classification and NER tasks. We compare the performance of different training strategies, and based on the obtained results and the discussion, we conclude that the BERT model performs exceptionally well in both measured tasks and with further improvements can be used in the email processing pipeline.

Keywords

NLP, BERT, transformers, text classification, named entity recognition, airline email

Jazyk práce: English

Datum vytvoření / odevzdání či podání práce: 17. 12. 2024

Obhajoba závěrečné práce

• Obhajoba proběhla 29. 1. 2025
• Vedúci: doc. RNDr. Vlastislav Dohnal, Ph.D.
• Oponent: Mgr. Radovan Lapár

Masaryk University

Faculty of Informatics

Master programme / odbor:
Software systems and services management / Services development management