Improving Arithmetical Reasoning of Language Models

Bc. Marek Kadlčík

Master's thesis

Anotácia:

Práce se zabývá zlepšováním jazykových modelů pro řešení matematických slovních úloh. Nejdříve pročištíme a převedeme existující datové sady, abychom vytvořili Calc-X, standardizovanou sbírku 300 000 matematických příkladu a řešení s postupem. Demonstrujeme, že Calc-X je vhodný pro tréning jazykových modelů, které interagují s kalkulačkou pro počítání mezivýsledků při řešení matematických úloh. Ukazujeme, že takové modely dosahují dvojnásobné přesnosti oproti standardním jazykovým modelům na několika testovacích sadách. Dále zkoumáme potenciál optimalizace preferencí při samoučení, kde se model učí ze svých predikcí. Zjišťujeme, že oproti samoučící variantě se supervizí, optimalizace preferencí konverguje rychleji a je robustnější na příkladech z jiné distribuce, než byly použité pro samoučení.

Abstract:

This work focuses on improving language models for solving math word problems. First, we clean and transform existing datasets to create Calc-X, a standardized collection of 300,000 math problems with step-by-step solutions. We demonstrate that Calc-X is suitable for training language models interacting with a calculator to compute intermediate results when solving math problems. We show that such models achieve twice the accuracy of standard language model baselines over multiple benchmarks. Next, we explore the potential of preference optimization in self-training, where the model learns from its predictions. We find that preference optimization converges faster and is more robust on out-of-distribution problems than the supervised variant of self-training.

Keywords

language models, neural networks, dataset, arithmetical reasoning, math word problems, tool-using, self-training, supervised learning, preference optimization

Jazyk práce: English

Datum vytvoření / odevzdání či podání práce: 21. 5. 2024

Obhajoba závěrečné práce

• Obhajoba proběhla 21. 6. 2024
• Vedúci: Mgr. Michal Štefánik
• Oponent: Ing. Martin Fajčík

Masaryk University

Faculty of Informatics

Master programme / odbor:
Artificial intelligence and data processing / Machine learning and artificial intelligence