Komparatívna evaluácia AI chatbotov vo vzdelávaní: Presnosť a úplnosť generovaných informácií

Marek Timko

Bachelor's thesis

Abstract:

Tato práce se zabývá komparativní analýzou čtyř pokročilých modelů chatbotů, ChatGPT (GPT-3.5), Copilot (GPT-4), Gemini a LLaMA2, s důrazem na hodnocení struktury jejich odpovědí, pravdivosti a komplexnosti poskytovaných informací. Práce rovněž poskytuje úvod do problematiky umělé inteligence a chatbotů. Cílem bylo analyzovat a porovnat tyto modely z hlediska pravdivosti a úplnosti informací a určit jejich silné a slabé stránky pro aplikace ve vzdělávání. Použité metody zahrnovaly srovnávací hodnocení a pozorování, čímž byla zajištěna objektivita a důkladnost analýzy. Výsledky ukázaly, že každý model má jedinečné silné stránky vhodné pro různé vzdělávací scénáře: ChatGPT je preferován pro základní pedagogické účely, Copilot se díky své přesnosti osvědčil v komplexních akademických situacích, zatímco Gemini poskytuje rozšířené pokrytí témat, takže je vhodný pro širší akademické využití. LLaMA2 nebyl testován z důvodu technické nedostupnosti. Tato zjištění naznačují potřebu dalšího výzkumu a vývoje etických a bezpečnostních aspektů umělé inteligence, aby se maximalizoval její potenciál ve vzdělávacím procesu.

Abstract:

This thesis deals with a comparative analysis of four advanced chatbot models, ChatGPT (GPT-3.5), Copilot (GPT-4), Gemini and LLaMA2, with an emphasis on the evaluation of their response structure, truthfulness and comprehensiveness of the information provided. The thesis also provides an introduction to artificial intelligence and chatbots. The aim was to analyse and compare these models in terms of their information truthfulness and completeness, and to identify their strengths and weaknesses for applications in education. The methods used included comparative evaluation and observation, thus ensuring objectivity and thoroughness of the analysis. The results revealed that each model has unique strengths suitable for different educational scenarios: the ChatGPT is preferred for basic pedagogical purposes, Copilot has proven itself in complex academic situations due to its accuracy, while Gemini provides extended coverage of topics, making it suitable for broader academic use. LLaMA2 was not tested due to technical unavailability. These findings suggest the need for further research and development into the ethical and safety aspects of AI to maximise its potential in the educational process.

Abstract:

Táto práca sa zaoberá komparatívnou analýzou štyroch pokročilých modelov chatbotov: ChatGPT (GPT-3.5), Copilot (GPT-4), Gemini a LLaMA2, s dôrazom na hodnotenie ich štruktúry odpovedí, pravdivosti a komplexnosti poskytovaných informácií. Práca taktiež poskytuje úvod do problematiky umelej inteligencie a chatbotov. Cieľom bolo analyzovať a porovnať tieto modely z hľadiska ich pravdivosti a úplnosti informácií a identifikovať ich silné a slabé stránky pre aplikácie v školstve. Využité metódy zahŕňali komparatívne hodnotenie a pozorovanie, čím sa zabezpečila objektívnosť a dôkladnosť analýzy. Výsledky odhalili, že každý model má unikátne prednosti vhodné pre rôzne edukačné scenáre: ChatGPT je preferovaný pre základné pedagogické účely, Copilot sa osvedčil v komplexných akademických situáciách pre svoju presnosť, zatiaľ čo Gemini poskytuje rozšírené pokrytie tém, čo ho robí vhodným pre širšie akademické využitie. LLaMA2 nebol testovaný z dôvodu technickej nedostupnosti. Tieto poznatky naznačujú potrebu ďalšieho výskumu a vývoja v oblasti etických a bezpečnostných aspektov AI, aby sa maximalizoval ich potenciál v edukačnom procese.

Keywords

AI chatboti, AI ve vzdělávání, porovnání chatbotů, umělá inteligence

Keywords

AI chatbots, AI in education, comparison of chatbots, artificial intelligence

Keywords

AI vo vzdelávaní, porovnanie chatbotov, umelá inteligencia, AI chatboti

Language used: Slovak

Date on which the thesis was submitted / produced: 5. 5. 2024

Thesis defence

• Date of defence: 13. 6. 2024
• Supervisor: Marie Kovářová
• Reader: Miloš Maryška

Vysoká škola ekonomická v Praze

Bachelor programme:
Informační média a služby