Comparison of open-source data mining tools for sentiment analysis

Tariku Abebe Asfaw

Master's thesis

Srovnání open-source nástrojů pro dolování dat pro analýzu sentimentu

Anotácia:

V různých odvětvích je pochopení názoru nebo zpětné vazby zákazníků velmi důležité problém zlepšit kvalitu svých produktů a služeb.výběr vhodných dat těžební nástroje pro měření názoru zákazníka za přítomnosti různých měření funkce jako použitelnost, křivka učení, vizualizace, zpracování textu, škálovatelnost atd je velmi náročný. Tento projekt si klade za cíl prozkoumat nejvhodnější open source nástroje pro dolování dat pro účely analýzy sentimentu prostřednictvím přísného posouzení nástroje založené na mnoha různých měřících kritériích. Na základě přehledu mnoha literatury související s analýzou sentimentu úkol 2 jsou vybrány různé datové sady a na tyto datové sady je aplikována analýza sentimentu pomocí pěti vybraných open source nástrojů pro dolování dat. Ve všech vybraných data mining nástroj použitý v experimentu se řídí stejným postupem bez ohledu na to rozdíl v povaze a vlastnostech nástrojů.i když nástroje mají programování, nízké kódování a nyní kódování charakter postup sleduje data načítání, předzpracování textu, extrakce sentimentu a nakonec vizualizace výsledek je téměř stejný ve všech pěti nástrojích. na základě tamního výsledku experimentu existuje mnoho rozdílů založených na kvalitách a omezení všech nástrojů jsou uplatňována kritéria uvedená v literatuře a na základě nich je založena pozice nástrojů měřící kritéria jsou dána každému nástroji pomocí analytického vyhodnocení tak na základě vyhodnocení nejvhodnější nástroj KNIME pro daný úkol a KNIME je druhý nejvhodnější,R je 3. nejvhodnější, Rapid miner je 4. a Oranžová je nejméně vhodná. Obecně platí, že i když je řada nástrojů hodnoceny podle různých měřících kritérií na základě experimentů vhodnost nástrojů závisí na preferenci a úrovni dovednosti odbornost . tato odbornost s dobrou znalostí programování bude preferovat python jako nejvhodnější nástroj, zatímco ostatní budou preferovat KNIME jako nejvhodnější nástroj za úkol. Když se však dostaneme ke kvalitě a přesnosti výsledku z experiment python je opravdu nesrovnatelný s ostatními.

Abstract:

In various industries understanding customers opinion or feedback is very critical issue to improve quality of their product and services.selecting appropriate data mining tools to gauge the customer’s opinion in the presence various measuring features like usability, learning curve,visualization,text processing, scalability .etc is very challenging.this project aims to investigate the most suitable open source data mining tools for sentiment analsyis task through rigorous assessement of the tools based many different measuring criteria. Based on the review of many literatures related to sentiment analysis task two different datasets are selected and sentiment analysis is applied to those datasets using five selected open source data mining tools. In all the selected data mining tool the experiment applied follows the same procedure regardless of the difference of the nature and feature of the tools.eventhough the tools have programming,low coding and now coding nature the procedure follows data loading, text preprocessing ,sentiment extraction and finally visualization of the result is almost the same in all the five tools.based on the experiment result there are many differences based on the qualities and limitation of the tools all the criteria mentioned in the literature are applied and the rank of the tools based on the measuring criteria is given to each tools by using analytical based evaluation so based on the evaluation the most KNIME suitable tool for the task and KNIME is the second most suitable,R is the 3rd most suitable, Rapid miner is the 4th and Orange is the least suitable one. Generally, eventhough the rank of the tools is evaluated according to different measuring criteria based the experiments the suitability of the of the tools is dependent on the preference and level of skill of the expertise . this expertise with good knowledge of programming will prefer python as the most suitable tool while others will prefer KNIME as the most suitable tool for the task. However when we come to the quality and accuracy of the result from experiment python is really incomparable with others.

Kľúčové slová

Analýza sentimentu podle aspektů (ABSA), rozpoznávání pojmenovaných entit (NER), latentní alokace drichletů (LDA), Analýza sentimentu, Předzpracování textu, rozhodování podle více kritérií (MCDM), analytické hierarchické zpracování, zpracování přirozeného jazyka, strojové učení, analýza sentimentu založená na lexikonech

Keywords

Sentiment analysis, Aspect Based Sentiment Analysis(ABSA), named entity recognition (NER), Latent Drichlet Allocation(LDA), Text Preprocessing, Multi criteria decision making (MCDM), Analytical hierarchy processing, Natural Language processing, Machine learning, Lexicon based Sentiment analysis

Jazyk práce: English

Datum vytvoření / odevzdání či podání práce: 17. 5. 2024

Obhajoba závěrečné práce

• Obhajoba proběhla 21. 6. 2024
• Vedúci: doc. Ing. František Dařena, Ph.D.
• Oponent: Roman Valovič, Ing.

Mendel University in Brno

Faculty of Business and Economics

Master programme / specializace:
Open Informatics / Scope for Open Informatics