Validation and Testing Methodologies for Brain Network Simulations

Bc. Ján Repka

Diplomová práce

Anotace:

Modely mozgových sietí sa používajú na simuláciu rozsiahlej mozgovej dynamiky a v rôznych softwareových simulačných rámcoch sa často implementujú odlišne. Overenie ekvivalentnosti takýchto implementácií je náročné kvôli chybe numerickej integrácie, stochastickým komponentom, chybám operácií s pohyblivou rádovou čiarkou, architektonickým rozdielom a ľudskej chybe. Ďalším problémom s používaním rôznych implementácií modelov sú časté implementačné rozdiely prítomné v existujúcich simulátoroch. Táto práca predstavuje grey-box metodiku overovania založenú na jednotnej matematickej štruktúre týchto modelov, ktorá je navrhnutá tak, aby riešila tento problém užívateľsky prívetivým a implementačne agnostickým spôsobom. Metodika kombinuje parametrickú izoláciu komponentov, jednokrokovú Eulerovu integráciu a porovnania založené na tolerancii a distribúcii s cieľom posúdiť relatívnu ekvivalenciu implementácií modelov. Testovací software implementujúci túto metodiku bol vyvinutý v jazyku Python. Software obsahuje konfiguráciu, modelové obaly a testovacie štruktúry navrhnuté tak, aby minimalizovali implementačnú záťaž kladenú na používateľa. Testovací software bol vyhodnotený na niekoľkých simulátoroch s rôznymi implementačnými filozofiami. Ak sa medzi modelmi nezistil žiadny rozdiel, bola umelo zavedená chyba, aby sa overila schopnosť testovacieho softwareu ju detekovať. Táto práca demonštruje, že systematické a opakovateľné overovanie implementácií modelov neurálnej hmoty je uskutočniteľné bez úplného prístupu k interným komponentom simulátorov. Metodika a sprievodný software poskytujú praktické nástroje pre vývojárov a výskumníkov, ktorí sa snažia overiť nové alebo refaktorované implementácie modelov mozgových sietí s cieľom zvýšiť reprodukovateľnosť v tejto oblasti.

Abstract:

Brain network models are widely used to simulate large-scale brain dynamics, and are often implemented differently across various simulation frameworks. Verifying that such implementations are equivalent is challenging due to numerical integration error, stochastic components, floating-point operation errors, architectural differences, and human error. Another issue with using different model implementations is the common implementation differences present across the existing simulators. This thesis presents a grey-box verification methodology grounded in the shared mathematical structure of these models, designed to address this challenge in a user-friendly and implementation-agnostic manner. The methodology combines parametric component isolation, single-step Euler integration, and tolerance and distribution-based comparisons to assess the relative equivalence of model implementations. A testing framework implementing this methodology has been developed in Python. The framework includes configuration, wrapper, and reusable test scaffolding designed to minimize the implementation burden placed on the user. The framework was evaluated on several simulators with different implementation philosophies. Where no difference was found across models, an error was artificially introduced to verify the framework's capability to detect it. This work demonstrates that systematic and reproducible verification of neural mass model implementations is feasible without full access to internal simulator components. The methodology and accompanying framework provide practical tools for developers and researchers seeking to validate new or refactored implementations of brain network models, aiming to increase reproducibility in this field.

Keywords

Virtual brain models, Neural mass models, Grey-box testing, Simulation frameworks, Software validation

Jazyk práce: angličtina

Datum vytvoření / odevzdání či podání práce: 16. 12. 2025

Obhajoba závěrečné práce

• Obhajoba proběhla 29. 1. 2026
• Vedoucí: RNDr. Jan Fousek, Ph.D.
• Oponent: doc. RNDr. Jiří Filipovič, Ph.D.

Masarykova univerzita

Fakulta informatiky

Magisterský studijní program / obor:
Softwarové inženýrství / Návrh a vývoj softwarových systémů