Axes of Robustness of Neural Language Models

Mgr. Michal Štefánik

Doctoral thesis

Abstract:

V posledných rokoch sa jazykové modely stali technológiou používanou v širokej škále aplikácií, presahujúcej tradičné úlohy spracovania prirodzeného jazyka. Vďaka svojej všestrannosti a prispôsobivosti predstavujú moderné jazykové modely základ systémov zahŕňajúcich viackrokové uvažovanie, interaktívne konverzácie alebo rozhodovacie systémy. Aplikácie, ktoré stoja na neurónových jazykových modeloch, však musia popri výhodách v presnosti čeliť aj notorickým nedokonalostiam charakteristickým pre všetky pravdepodobnostné modely, ktoré sa spoliehajú na vzory v dátach. Tieto nedokonalosti možno pripísať štatistickej povahe neurónových modelov a najviditeľnejšie sa prejavujú v prípadoch, ktoré sa odchyľujú od nastavení, v ktorých boli tieto modely vytvorené. Veľká časť výskumu označuje tieto chyby ako zlyhania generalizácie alebo robustnosti. Táto dizertačná práca predstavuje náš príspevok k zlepšeniu robustnosti jazykových modelov. Začíname prehodnotením súčasného stavu v oblasti evaluácie robustnosti modelov a nachádzame niekoľko prípadov, v ktorých tradičné evaluácie poskytujú zavádzajúce závery. Reagujeme súborom odporúčaní na maximalizáciu reprezentatívnosti hodnotenia robustnosti. V ďalších prácach skúmame úlohu trénovacích dát ako rozhodujúcej kovarianty robustnosti modelov. Aplikáciou niekoľkých novo navrhnutých metód ukazujeme, že zvýšenie konzistencie alebo vyhýbanie sa nepredvídateľným a triviálnym tréningovým príkladom pozitívne ovplyvňujú robustnosť výsledných modelov. Nakoniec navrhujeme súbor vylepšení konvenčného tréningu motivovaných nesúladom medzi technikami tréningu a skutočnou sémantikou trénovanej úlohy. Ukazujeme, že aj relatívne jednoduché metódy adresujúce takéto nesúlady môžu mať do značnej miery pozitívny vplyv, najmä na robustnosť výsledných modelov. Táto práca poskytuje prehľad autorových recenzovaných prvoautorských publikácií priamo súvisiacich s robustnosťou. Tie zahŕňajú jeden časopisecký článok ( posledný impakt faktor 5,5), šesť konferenčných príspevkov, z ktorých päť bolo prezentovaných v rôznych trackoch konferencií *ACL (štyri zaradené do kategórie CORE A*, jeden do kategórie CORE A), a tri príspevky na workshopoch, z ktorých dva boli ocenené cenou za najlepší článok (Best Paper Award). Kompletné publikácie zahrnuté v tejto dizertačnej práci spolu s komentárom k príspevkom autora sa nachádzajú v prílohe A. Translated with DeepL.com (free version)

Abstract:

In recent years, language models have emerged into a technology adopted in a wide variety of applications, nowadays largely exceeding traditional natural language processing tasks. Thanks to their versatility and adaptability, modern language models nowadays present a backbone for systems involving multistep reasoning, interactive conversations or decision-making agents. However, together with benefits in accuracy, applications that stand upon neural language models have to face the notorious imperfections characteristic of all probabilistic models relying on patterns in data rather than explicit deduction. These imperfections are dominantly attributed to the purely statistical nature of neural models and exhibit most visibly in so-called out-of-distribution scenarios; cases that diverge from the settings in which these models were created. Much of the recent work refers to these failures as the failures of generalization or robustness. This dissertation presents our contributions toward improving the robustness of language models. We start by revisiting the state of the art in evaluating models' robustness and find several cases where traditional out-of-distribution evaluations provide misleading conclusions. We respond by providing a set of recommendations to maximise the representativeness of robustness evaluation. In other work, we investigate the role of training data as a crucial covariate of models' robustness. By applying several newly proposed methods, we show that increasing consistency or avoiding unpredictable and trivial training examples all positively impact the robustness of resulting models. Finally, we propose a set of refinements in conventional training motivated by a hypothesized misalignment between the training objective and the true semantics of the task. We show that even relatively simple methods addressing such misalignments can have largely positive effects, particularly on the robustness of resulting models. This dissertation surveys the author's peer-reviewed, first or equal-to-first-author publications directly related to robustness. These include one journal paper (most recent impact factor 5.5), six conference papers, of which five were presented at different tracks of *ACL conferences (four ranked as CORE A*, one as CORE A), and three workshop papers, of which two were awarded by the Best Paper Award. Full publications covered in this dissertation, together with the commentary on the author's contributions, can be found in Appendix A.

Keywords

robustness, generalization, language models, out-of-distribution, prediction shortcuts, adversarial samples, language generation, question answering, in-context learning, evaluation, training data, training methods

Language used: English

Date on which the thesis was submitted / produced: 5. 9. 2024

Thesis defence

• Date of defence: 6. 2. 2025
• Supervisor: doc. RNDr. Petr Sojka, Ph.D.
• Reader: prof. Pontus Lars Erik Saito Stenetorp, PhD, prof. Jörg Tiedemann, PhD

Masaryk University

Faculty of Informatics

Doctoral programme / field:
Computer Science / Fundamentals of Computer Science