Performance & scalability comparison of Ruby authorization gems

Ing. Jan Smejkal

Master's thesis

Abstract:

V této práci byl srovnán výkon a škálovatelnost tří populárních autorizačních gemů v jazyce Ruby: Pundit, CanCanCan a Action_policy. Srovnání bylo provedeno pomocí srovnávacího nástroje Locust, který simuloval reálný scénář webové aplikace s několika uživateli a rolemi. Srovnávací nástroj a testované gemy bežely na OpenShift clusteru, aby se otestovala škálovatelnost gemů. Při vytváření rozsáhlé sady autorizačních pravidel pro CanCanCan se vyskytl problém s vytvořením pro obsáhlejší množinu pravidel, proto byly v dalších scénářích podrobně porovnány pouze Pundit a action_policy. Výsledky ukázaly, že rozdíl ve výkonu pro nízké množství pravidel byl zanedbatelný. Analýza také ukázala, že pro rozsáhlejší sadu pravidel klesl výkon o 7 %. Action_policy poskytoval o něco lepší výkon ve srovnání se gemem Pundit, a to přibližně o 3 %. Protože byl rozdíl ve výkonnosti poměrně nízký, gemy také byly testovány s 1000x nadsazenou autorizací, kde výkonnost klesla 420 krát. Action_policy zde, podobně jako v případě zveličené autorizace, poskytl o 3 % vyšší výkon oproti Punditu.

Abstract:

This thesis compared the performance and scalability of three popular Ruby authorization gems: Pundit, CanCanCan, and Action_policy. The comparison was done using a benchmarking tool Locust that simulated a real-world scenario of a web application with multiple users and roles. The benchmarking tool and the tested gems were run on an OpenShift cluster to test the scalability of the gems. There was an issue creating a large ruleset for CanCanCan with roles and permissions, so only Pundit and action_policy were compared in detail. The results showed that the difference in performance for a simple ruleset was negligible. The analysis also revealed that for a more extensive ruleset, the performance decreased by 7 %. Action_policy provided slightly better performance compared to Pundit at around 3 %. As the performance difference was quite low, the gems were also tested with a 1000x inflated authorization, where the performance dropped 420 times. Action_policy provided a 3 % better performance, similar to the uninflated test case.

Keywords

performance, scalability, authorization, ruby, gems, Pundit, CanCanCan, action_policy, Kubernetes, Openshift

Language used: English

Date on which the thesis was submitted / produced: 15. 12. 2023

Thesis defence

• Date of defence: 9. 2. 2024
• Supervisor: RNDr. Adam Rambousek, Ph.D.
• Reader: Elijah DeLee

Masaryk University

Faculty of Informatics

Master programme / field:
Software Engineering / Deployment and operations of software systems