Analysis of Emergent Properties in Biological and Artificial Neural Networks

Vladislav Liubchenko

Diplomová práce

Analýza emergentních schopností v umělých a biologických neuronových sítích

Anotace:

Emergentní chování – komplexní vlastnosti na úrovni systému, které se náhle objeví, když neuronové sítě překročí kritické měřítka – jsou hlavním fenoménem jak pro umělou inteligenci, tak pro neurovědu. Zaměřuji se zde na mechanismy, okrajové podmínky a funkční analogie emergentních schopností v umělých a biologických neuronových sítích. Nejprve předkládám literární přehled o nových schopnostech objevených v rozsáhlých jazykových modelech (např. GPT-3, výuka Few-Shot, prahové hodnoty škálovacího zákona, analýza sentimentu zero-shot) a v biologických systémech (např. neuronální laviny, samoorganizovaná kritičnost, spontánní řád). Pokračuji ve vytváření koncepčního rámce založeného na Anokhinově konceptu hypersystému a modelů kritičnosti, který mi umožňuje formalizovat, jak distribuované interakce a zpětnovazební smyčky pomáhají vytvářet kvalitativně nový řád. V praxi experimentálně studuji 3 verze OPT jazykových modelů Meta (parametry 350M, 1.3B a 2.7B) s replikovatelným experimentálním protokolem pro analýzu syntaxe, základní logiku, znalost světa a generativní úlohy. I když vidím mírné zvýšení přesnosti u modelu 2,7 B oproti základní linii 350 M, ukazuje to, že nová vylepšení podobná nouzovým přicházejí s mnohem vyšším počtem parametrů, i když jsou identifikovány určité predemergentní indikátory. Bez vlastních experimentů na BNN využívám srovnávací studie – sbírám z literatury in vitro neurální kultury a hybridní „DishBrain“ systémy – abych našel analogie mezi prahy závislými na měřítku v ANN a přechody do kritického stavu v BNN. Teoreticko-experimentální syntéza poukazuje na to, že umělé a biologické sítě fungují prostřednictvím kombinace škálování parametrů zdola nahoru (jako je velikost sítě, excitace - rovnováha inhibice) a zpětné vazby shora dolů (např. mechanismy pozornosti, aktivní vyvozování), což vede k emergentní funkci. Porovnávám je s kortikální strukturou a funkcí – např. hlavy pozornosti jako analogy kortikálních sloupců – a diskutuji o důsledcích pro pochopení inteligence. Nakonec poukazuji na otevřené výzvy v oblasti mechanického uzemnění, mezimodální analýzy a odpovědné regulace nepředvídatelných schopností. Výsledky dláždí cestu ke sjednocujícím se teoriím vzniku a mohly by možná vést k návrhu nových architektur inspirovaných neurony.

Abstract:

Emergent behaviors—system-level complex properties that appear suddenly when neural networks surpass critical scales[2]—are a major problem for both AI and neuroscience. We focus here on the mechanisms, boundary conditions and functional analogies of emergent phenomena in artificial and biological neural networks. Author first presents a literature review on new capabilities discovered in large-scale language models (e.g., GPT-3, few-shot learning, scaling law thresholds, zero-shot sentiment analysis) and in biological systems (e.g., neuronal avalanches, self-organized criticality, spontaneous order). I proceed to build a conceptual framework, based on Anokhin's concept of the hypersystem and criticality models, which allows me to formalize how distributed interactions and feedback loops help produce qualitatively novel order. In practice, I experimentally study 3 versions of Meta’s OPT language models (350M, 1.3B and 2.7B parameters) with a replicable experimental protocol for the few-shot, syntax-parsing, and generative tasks. While I do see slight accuracy gains in the 2.7 B model over the 350 M baseline, it shows that emergent-like improvements come with much higher parameter counts. Without our own experiments using BNNs, I make use of comparative studies —gleaning from the literature in in vitro neural cultures and hybrid “DishBrain” systems —to find analogies between scale-dependent thresholds in ANNs and the transitions to the critical state in BNNs. Theoretical--experimental synthesis points out that artificial and biological networks operate through a combination of bottom-up parameter scaling (such as network size, excitation--inhibition balance) and top-down feedback (e.g., attention mechanisms, active inference), resulting in emergent function. I compare these to cortical structure and function—e.g., attention heads as cortical-column analogues—and discuss implications for understanding intelligence. Lastly, I point out open challenges on the mechanistic grounding, cross-modal birth, and the responsible regulation of unpredictable capabilities. Our results pave the way towards unifying theories of emergence and can guide the design of new neuro-inspired architectures.

Klíčová slova

Filosofie, Biologické neuronové sítě, Umělé neuronové sítě, Emergentní schopnosti

Keywords

Artificial neural networks, Biological neural networks, Philosophy, Emergent abilities

Jazyk práce: angličtina

Datum vytvoření / odevzdání či podání práce: 1. 12. 2025

Obhajoba závěrečné práce

• Obhajoba proběhla 22. 1. 2026
• Vedoucí: Miroslav Vacura
• Oponent: Ondřej Zamazal

Vysoká škola ekonomická v Praze

Magisterský studijní program:
Kognitivní informatika