Developing a Multi-Perspective Usability Evaluation for integrated study system management Based on Multi-criteria Decision Analysis

Mahir Tahrir Salih Mohammed

Diplomová práce

Vývoj multiperspektivního hodnocení použitelnosti integrovaného studijního informačního systému založeného na multikriteriální analýze rozhodování

Anotace:

Použitelnost a efektivita informačních systémů ve vzdělávacích institucích má velký vliv na kvalitu výuky a učení. Navzdory rostoucímu zavádění takových systémů ve vzdělávacích institucích je inkluzivní hodnocení použitelnosti, které pokrývá všechny uživatelské perspektivy (studenti, akademici a pracovníci IT), předmětem dalšího studia a hodnocení. Aby se tato mezera vyřešila, tato projektová práce navrhla integraci multiperspektivního hodnotícího rámce použitelnosti založeného na metodách Multi-Criteria Decision Analysis (MCDA), které byly vyvinuty pro posouzení použitelnosti InSIS a Moodle jako případová studie. Navrhovaný komplexní rámec hodnocení založený na normách ISO 9126. Klíčovým zaměřením výzkumu je identifikace kritických kritérií použitelnosti a měření výkonnosti systému prostřednictvím strukturovaného sběru dat napříč studovanou institucí pomocí Fuzzy Weighted Zero-Inconsistency (FWZIC) a Fuzzy Decision by Opinion Score Method (FDOSM). Výsledky naznačují, že bezpečnost, srozumitelnost a schopnost učit se měly nejvyšší hodnoty váhy (0,121+) v hodnocení z pohledu akademika a studentů, zatímco stabilita a obnovitelnost měly nejvyšší váhu (0,102) z pohledu pracovníků IT. Rozptyl v důležitých hodnotách vah podle perspektiv odráží nutnost zohlednění všech hledisek při hodnocení a potvrzuje navrženou hypotézu tohoto projektu. V důsledku toho mají vlastnosti/nástroje studovaných systémů (InSIS a Moodle) také prioritu. Komplexní výsledky naznačují, že Moodle překonává InSIS z hlediska provozuschopnosti a spokojenosti uživatelů a interakce mezi studenty a učiteli. InSIS však vykazuje pozoruhodné přednosti ve funkčnosti a efektivitě, zejména z pohledu IT zaměstnanců. Vzhledem k vyvíjející se povaze oboru by měl být rámec a poznatky průběžně zdokonalovány dalším výzkumem. Tato studie poskytuje poznatky a doporučuje budoucí práci při aplikaci rámce na rozsáhlejší prostředí a zkoumání integrace nově vznikajících technologií pro lepší hodnocení použitelnosti. V konečném důsledku tento projekt přispívá k multiperspektivnímu rámci, který nejen podporuje hodnocení použitelnosti, ale také poskytuje rámec pro zlepšení funkčnosti a uživatelské zkušenosti vzdělávacích informačních systémů.

Abstract:

The usability and effectiveness of information systems in educational institutions have a high impact on the quality of teaching and learning experiences. Despite the increasing adoption of such systems in educational institution, an inclusive evaluation for the usability that covers all user perspectives (Student, Academic, and IT staff) is subject to further study and assessing. To address this gap, this project work proposed an integrated of a multi-perspective usability evaluation framework based on the Multi-Criteria Decision Analysis (MCDA) methods which developed to assess the usability of InSIS and Moodle as a case study. The proposed comprehensive evaluation framework grounded in ISO 9126 standards. A key focus of the research is identifying critical usability criteria and measuring system performance through structured data collection across the studied institution, using Fuzzy Weighted Zero-Inconsistency (FWZIC) and Fuzzy Decision by Opinion Score Method (FDOSM). The results indicate Security, Understandability, and Learnability was the highest weight values (0.121+) in evaluation from the Academician and Students perspective, while stability and recoverability were taking the highest weight value (0.102) from the IT staff perspective. The variance in the important weight values per perspectives, reflect the necessity of considering all perspective in evaluation and prove the proposed hypothesis of this project. Consequently, the features/tools of the studied systems (InSIS and Moodle) show differences priority as well. The comprehensive results indicate that Moodle outperforms InSIS in terms of operability and user satisfaction and interaction among students and faculty. However, InSIS demonstrates notable strengths in functionality and efficiency, particularly from the IT staff perspective. Given the evolving nature of the field, the framework and findings should be continuously refined through further research. This study insights and recommends future work in applying the framework to larger-scale environments and exploring the integration of emerging technologies for enhanced usability evaluation. Ultimately, this project contributes a multi-perspective framework that not only supports usability assessment but also provides a framework for improving the functionality and user experience of educational information systems.

Klíčová slova

Víceperspektivní hodnocení použitelnosti, Integrovaný studijní informační systém (InSIS), Moodle, model ISO 9126, Multikriteriální rozhodovací analýza (MCDA), FWZIC, FDOSM

Keywords

Multi-perspective usability evaluation, Study Information System (InSIS)Moodle, ISO 9126 model, Multi-Criteria Decision Analysis (MCDA), FWZIC, FDOSM

Jazyk práce: angličtina

Datum vytvoření / odevzdání či podání práce: 1. 5. 2025

Obhajoba závěrečné práce

• Obhajoba proběhla 9. 6. 2025
• Vedoucí: Majid Ziaei Nafchi
• Oponent: František Sudzina

Vysoká škola ekonomická v Praze

Magisterský studijní program:
Information Systems Management