Ikea effect in rule-based machine learning models

German Bundur

Master's thesis

IKEA Efect v Modelech Strojového Učení Založených na Pravidlech

Abstract:

Tato práce se pokouší vyhodnotit vliv vybraného kognitivního zkreslení na interpretovatelnost modelů strojového učení založeného na pravidlech. Tato práce se zaměřuje na zkreslení „efekt IKEA“, podle kterého lidé přiřadí vyšší hodnotu věcem, které vytvořili nebo částečně vytvořili. Při použití na modely opírající se o stroj je v této práci zkoumána hypotéza, že modely, které lidé měli šanci upravit nebo vylepšit, budou věrohodnější a srozumitelnější než ty, u nichž taková příležitost nebyla poskytnuta. K otestování této hypotézy byl proveden experiment crowdsourcingu. V těchto experimentech museli účastníci vyhodnotit věrohodnost pravidel automaticky generovaných algoritmem Apriori. Jedna skupina účastníků byla navíc vyzvána, aby pomocí pravidel vylepšila pravidla. V této předběžné studii nebyl pozorován žádný rozdíl v hodnocení vyvolané srozumitelnosti a věrohodnosti. Data pro statistickou analýzu poskytovaná platformou crowdsourcingu představují 120 odpovědí se stejným rozdělením velikosti vzorku mezi kontrolní a experimentální skupiny zpracované prostřednictvím výběrového řízení. Uplatnění t-testu a neparametrického testu ukazuje hodnoty p, které neumožnily odmítnout nulovou hypotézu. Test velikosti účinku však ukazuje malý účinek pro oba aspekty interpretovatelnosti. Doporučení pro budoucí práce je vytvořit více experimentů s použitím různých sad pravidel z různých témat a zapojit více lidí, aby dosáhli vyšší přesnosti ve statistice a získali spolehlivější výsledek.

Abstract:

This thesis tries to evaluate the effect of a selected cognitive bias on the interpretability of rule-based machine learning models. This thesis focuses on the "IKEA effect" bias, according to which people assign a higher value to things that they created or partially created. Applied to machine leaning models, the hypothesis investigated in this thesis is that models that people had a chance to edit or improve will be more plausible and comprehensible than those where such opportunity was not provided. To test this hypothesis, the crowdsourcing experiment was carried out. In these experiments, participants had to evaluate the plausibility of rules automatically generated by the Apriori algorithm. One group of participants was additionally invited to use a rule editor to improve the rules. In this preliminary study, no difference in the elicited comprehensibility and plausibility ratings were observed. The data for statistical analysis provided by the crowdsourcing platform accounts for 120 answers with an equal sample size distribution between control and experimental groups processed through the selection procedure. Applying t-test and the non-parametric test shows the p-values that did not allow to reject the null hypothesis. However, the test of effect size shows a small effect for both aspects of interpretability. The advice for future works is to create more experiments using various rule sets from different topics and involve more people to achieve higher accuracy in statistics to obtain a more reliable result.

Keywords

kognitivní zkreslení, interpretovatelnost, IKEA efect, modely založené na pravidlech, věrohodnost, srozumitelnost, crowdsourcingová platforma, průzkum

Keywords

interpretability, plausibility, comprehensibility, crowdsourcing platform, cognitive bias, survey, IKEA effect, rule-based models

Language used: English

Date on which the thesis was submitted / produced: 24. 6. 2021

Thesis defence

• Date of defence: 24. 8. 2021
• Supervisor: Tomáš Kliegr
• Reader: Štěpán Bahník

Vysoká škola ekonomická v Praze

Master programme / field:
Aplikovaná informatika / Information Systems Management