One Bit at a Time: Impact of Quantisation on Neural Machine Translation

Mgr. Marek Petrovič

Master's thesis

Abstract:

Napriek svojej presnosti, nasadenie veľkých neurónových jazykových modelov stále čelí niekoľkým praktickým problémom. Okrem vysokej pamäťovej náročnosti, hlavnou prekážkou je rýchlosť predikcie. V prípade generatívnych modelov, čas auto-regresívneho generovania škáluje s dĺžkou výstupu. Ďalšie významné obmedzenie prekladových modelov je ich doménová špecificita, ktorá je daná doménou tréningových dát. Naša práca skúma vplyv kvantizácie modelov na tieto problémy. Teoreticky, kvantizácia má potenciál tieto problémy riešiť za použitia výpočtov v nižšej bitovej šírke, ktorá by mala umožniť kompresiu modelu, zrýchlenie, a regularizáciu už začlenenú do tréningu. Špecificky, skúmame efekt kvantizácie na neurónový prekladový model architektúry transformer. Okrem získaných meraní, prínosom tejto práce sú aj implementácie kvantizovaných transformer modelov a znovu použiteľný balík na meranie rýchlosti, pamäťovej náročnosti a distribučnej robustnosti neurónových modelov na strojový preklad.

Abstract:

Despite the precision of the large language models, the deployment of these models still faces some practical issues. Except for being memory-demanding, the main issue lies in the speed of prediction. In the case of generative language models, the time of auto-regressive generation scales with the output length. Another significant limitation of translation models remains in their domain-specificity given by the domain of the training data. Our work investigates the impact of model quantization on these issues. In theory, quantization holds the potential to address these problems through lower bit-width computations allowing for model compression, speed-up, and regularization incorporated in training. Specifically, we inspect the effect that quantization has on the transformer neural machine translation model. In addition to the obtained measurements, the contributions of this work are also in the implementations of quantized transformers and the reusable framework for evaluation of speed, memory requirements, and distributional robustness of neural machine translation models.

Keywords

machine translation, quantization, neural networks, transformers, inference, speed up

Language used: English

Date on which the thesis was submitted / produced: 17. 5. 2022

Thesis defence

• Date of defence: 22. 6. 2022
• Supervisor: Mgr. Michal Štefánik
• Reader: Mgr. Ondřej Sotolář

Masaryk University

Faculty of Informatics

Master programme / field:
Artificial intelligence and data processing / Big data