Design of an Explanation Interface for Recommender Systems in High Stakes Domains

Bc. Jan Ondruch

Master's thesis

Abstract:

Doporučovací systémy jsou vyvíjeny s cílem pomoci uživatelům lépe se rozhodovat při hledání produktů, jako jsou filmy či turistické destinace. Společně s doporučovacím systémem se uživatelské rozhraní zaměřené na vysvětlení stává nepostradatelným nástrojem k objasnění toho, proč a jak se určitá položka doporučuje. To platí zejména v doménách s vysokým rizikem, jako jsou finance, zdraví nebo bydlení, kde je výběr správné položky velmi důležitý. Aby tedy bylo možné uživateli poskytnout spravedlivé a transparentní doporučení, má tato práce za cíl navrhnout nové uživatelské rozhraní zaměřené na vysvětlení pro doporučovací systémy, které usnadní porozumění a zvýší důvěru v doporučení. V této práci je po analýze stávajících přístupů a jejich nedostatků navrženo toto nové rozhraní, které je následně testováno provedením studie s 18 účastníky se zaměřením na kritéria důvěry, transparentnosti a spokojenosti, jakož i na obecnou použitelnost a konkrétní scénář. Ve srovnání se dvěma dalšími zkoumanými rozhraními výsledky ukazují vyšší kvalitu navrhovaného rozhraní. Konkrétněji byly zjištěny významné rozdíly týkající se kritérií důvěry a transparentnosti. Také byly objeveny podnětné důkazy pro kritérium spokojenosti. Navíc se ukázalo, že rozhraní je hodnoceno nadprůměrně z hlediska použitelnosti a v daném scénáři funguje také výborně. Závěrem lze říci, že tyto výsledky přispívají k oblasti vysvětlitelné umělé inteligence a poukazují na možnost zvýšení transparentnosti, důvěry a spokojenosti uživatelů v doporučovacích systémech.

Abstract:

Recommender systems are developed to help users make better choices while searching for products such as movies or travel destinations. Together with a recommender system, an explanation interface is becoming an indispensable component to describe why and how a certain item is recommended. This is especially applicable in high stakes domains such as finance, health, or housing, where the importance of selecting the right item is paramount. Thus, in order to deliver a fair and transparent recommendation, this thesis aims to design a new explanation interface for recommender systems to facilitate the understanding and trust of a recommendation. In this work, after the analysis of the existing approaches and their shortcomings, a new explanation interface is proposed, propelled by a suggested Empathetic Explanations Model. Subsequently, the interface is tested by conducting a within-subject study with 18 participants, focusing on criteria of trust, transparency, and satisfaction, as well as on general usability and a particular scenario. In comparison with two other examined explanation interfaces, the results indicate the superiority of the proposed interface. More specifically, significant differences were found in terms of trust and transparency, and highly suggestive evidence was also discovered for the criterion of satisfaction. On top of this, the interface proved to be scored above average usability-wise and performs well in the given scenario. In conclusion, these results contribute to Explainable AI and are promising towards enhancing user trust, transparency, and satisfaction with recommender systems.

Keywords

EI, explanations, recommender systems, high stakes domains, transparency, trust, explainable AI, UI design

Language used: English

Date on which the thesis was submitted / produced: 18. 5. 2021

Thesis defence

• Date of defence: 22. 6. 2021
• Supervisor: RNDr. Josef Spurný
• Reader: doc. Mouzhi Ge, Ph.D.

Masaryk University

Faculty of Informatics

Master programme / field:
Applied Informatics / Service Science, Management and Engineering