Techniques for Implementation of Neural Mass Models: Achieving both Efficiency and Productivity

RNDr. Jan Fousek

Doctoral thesis

Abstract:

Výpočetní modely lidského mozku jsou neocenitelným nástrojem při posouvání našeho chápání funkce a onemocnění mozku. Vzhledem k tomu, že velikost simulací na úrovni jednotlivých neuronů dosažitelná je velmi omezená i na největších superpočítačích, byly odvozeny modely neurální hmoty zachycující chování neuronálních populací za účelem umožnění simulací v rozsahu celého mozku. Nicméně numerická realizace modelů neurální hmoty je i tak výpočetně intenzivní a pro praktickou analýzu modelů a asimilaci dat vyžaduje výpočetně efektivní implementaci. Zlepšení výkonu a škálovatelnosti velkých modelů neuronové hmoty vznikajících v diskrétních simulacích neurálních polí je náročné kvůli nepravidelnému přístupu k paměti způsobenému jak nepravidelností propojení, tak zpožděním na všech spojeních. Konkrétní formulace populační dynamiky v matematickém rámci modelů neurální hmoty je navíc předmětem aktivního výzkumu v oblasti výpočetních neurověd, z čehož plyne požadavek na vysokoúrovňové rozhraní pro doménové odborníky. Zaměření této práce je tedy dvojí: zlepšit výkonnost integrace velkých modelů neurální hmoty a vyvinout techniky, které dovolují doménovým expertům vyvíjet nové modely v programovacím prostředí na vysoké úrovni pro udržitelnou produktivitu. Tato práce nejprve analyzuje strukturu výpočtu krokování modelu neuronové hmoty v čase a vztahuje jej k iterativní aplikaci řídkých kernelů, jako je například násobení řídké matice vektorem. Předkládá dvě varianty rozvrhu výpočtu diskrétních modelů neurálních polí s použitím explicitního dělení iteračního prostoru pro zlepšení datové lokality a umožnění paralelizace. Výkon je vyhodnocován v jedno a dvouprocesorové konfiguraci a na akcelerátoru Xeon Phi s mnohajádrovou architekturou, a je doloženo významné zrychlení při použití navrhovaného rozvrhu. Za druhé, praktičnost specifikace modelu je dosažena pomocí automatizovaného překladu z Pythonové implementace založené na vektorizovaných operacích s vícerozměrnými poli do paralelního C. Během překladu je analyzován tok dat mezi jednotlivými operacemi a generovaný kód je optimalizován pro zlepšení datové lokality a snížení paměti pomocí kontrakce polí a fúzí smyček. Metody a algoritmy prezentované v této práci zvyšují efektivitu řešičů pro rozsáhlé modely neurální hmoty a poskytuje způsob kombinace výkonnosti ručně laděných implementací s dostupností vysokoúrovňového programovacího prostředí. Ačkoli je motivována konkrétní aplikací, je představená metoda pro optimalizaci využití paměti pomocí kontrakcí polí obecná a může být začleněna do stávajících kompilátorů a běhových prostředí zaměřených na práci s vícerozměrnými poli.

Abstract:

The computational models of a human brain are an invaluable tool in furthering our understanding of brain function and disease. As the size of the tractable simulations at the level of particular neurons is limited even on largest supercomputers, neural mass models capturing the behavior of neuronal populations have been derived to allow for simulations at the scale of the whole brain. Nevertheless, the numerical evaluation of the neuronal mass models is still computationally intensive and high effectivity of the implementation is required for practical analysis of the models and data assimilation. Improving performance and scalability of large neural mass models arising in discretized neural field simulations is challenging due to irregular memory access caused by both the non-uniformity of the connectivity and by the delays on all connections. Moreover, the particular formulation of the population dynamics within the mathematical framework of neural mass models is an area of active research in computational neuroscience, necessitating a high-level interface for the domain experts. The focus of this thesis is thus twofold: improve the performance of the integration of large neural mass models, and to develop techniques allowing the domain experts to develop the models in high-level programming environment for sustained productivity. This thesis first analyses the structure of the computation of the time-stepping of the neural mass model, and relates it to iterative application of sparse kernels such as sparse matrix-vector multiplication. Two execution schedules for discretized neural field models using explicit tiling of the iteration space are presented to improve the data locality and enable parallelism. The performance is evaluated in single- and dual-socket CPU setup, and on Xeon Phi many-core architecture, and the schedules are shown to provide significant speedup. Second, the practicality of the model specification is accomplished by an automated translation from array-based Python implementation to parallel C. During the translation, the dataflow of the computation is analyzed and the generated code is optimized for data locality and memory usage by array contraction and loop fusion. The methods and algorithms presented in this thesis both improve the efficiency of the solvers for large neural mass models, and provide a way of combining the performance of hand-tuned implementations with the accessibility of high-level programming language environment. While motivated by particular application, the presented technique for memory usage optimization by array contraction is shown to be general, and can be incorporated in existing array-oriented compilers and runtime environments.

Keywords

selective specialization, devectorization, data flow analysis, array ssa, loop fusion, neural field, sparse matrix, SpMV, delay differential equations, data locality

Language used: English

Date on which the thesis was submitted / produced: 29. 12. 2017

Thesis defence

• Date of defence: 24. 5. 2018
• Supervisor: prof. RNDr. Luděk Matyska, CSc.
• Reader: Prof. Dr. Siegfried Benkner, Dr. Viktor Jirsa

Masaryk University

Faculty of Informatics

Doctoral programme / field:
Informatics (4-years) / Computer Systems and Technologies