Metakognice v inteligentních systémech

Ing. Vilém BENEŠ

Doctoral thesis

Metacognition in Intelligent Systems

Abstract:

This thesis provides gentle introduction to AI research, its motivation and prospects. It is argued that AI research still needs new basic ideas. Doubts about single-method (silver-bullet) approaches are expressed. Author?s definition of intelligence is presented together with discussing its relevance and usefulness. AGI methodology for building intelligent agents is presented. It stems from the intelligence definition, the main point is usage of many environments at the same time for development and testing of intelligent agents. Framework for developing AGI agent was developed and used for experiments. It encompasses many environments, is highly customizable, allows both extensive automatic testing and versatile experimentation with manual control and detail inspection. Both long-run dynamics and full detail in single agent-environment cycle can be observed. Framework allows binding of external RL-Glue interface which interconnects various reinforcement learning agents, environments and experiments. Intelligent agent is being developed using mentioned framework along the lines of described AGI methodology. As we expect from AGI, this agent is able to explore and then exploit previously unseen environment. Mechanisms of cognition: action selection, action value estimation and situation discrimination are described. It is argued that simple behavior scheme based on these is the baseline for intelligence. The other mechanisms build on results (function) of this baseline and also possibly reuse these principles. Additional cognitive mechanisms are described: elaboration on effect of actions, transitions between situations, reward processing and others. These allow creating and using of expectations and (better) understanding of the environment. Finally, metacognition ? cognition about cognition is looked into. Metacognition is both the approach we take in AGI methodology (when we observe the agent?s abilities in different conditions and we also influence these abilities) and also the way in which higher mechanisms in agent?s brain control cognition to reach higher intelligence.

Abstract:

Tato práce přináší úvod do výzkumu UI. Je předloženo tvrzení, že výzkum umělé inteligence stále potřebuje nové základní ideje. Vyjadřujeme pochybnosti nad používáním přístupů zahrnující pouze jednu metodu při vývoji UI. Autorova definice inteligence je uvedena spolu s diskuzí její relevance a použitelnosti. Je prezentována AGI1 metodologie pro vývoj inteligentních agentů. Tato vychází z definice inteligence, hlavní její myšlenka je používání mnoha různých prostředí najednou při vývoji a experimentech. Byl implementován framework (systém) pro vývoj AGI agenta. Zahrnuje mnoho prostředí, dá se různými způsoby upravovat, poskytuje zároveň možnosti pro rozsáhlé automatické testování a i všestranné testování a detailní průzkum s manuálním ovládáním. Systém umožňuje zkoumat dlouhodobou dynamiku stejně tak jako jednotlivé cykly ? iterace mezi agentem a prostředím. Framework umožňuje propojení s externím RL-Glue rozhraním, které propojuje různé agenty zkoumané v oboru reinforcement learning s různými prostředími a experimenty. Dále je v práci popisován inteligentní agent, který je vyvíjen autorem s použitím uvedeného frameworku a uvedené AGI metodologie. Jsou rozebírány základní mechanizmy kognice: selekce akcí, odhadování hodnoty a discriminace situací. Je uvedeno tvrzení, že tyto mechanizmy poskytují základ inteligentního chování; další mechanizmy staví na výsledcích (funkci) tohoto základu a zároveň jejich principy znovu využívají. Další mechanizmy zahrnují zpracování a využití efektu akcí, přechody mezi situacemi, zpracování a úpravy ohodnocovacího signálu a další. Tyto mechanizmy umožňují vytváření a používání očekávání (extrapolací), zároveň také umožňují (lepší) pochopení prostředí. Nakonec se práce zabývá metakognicí ? kognicí kognice. Metakognice je zároveň to, co provádíme při vývoji AGI agenta, když sledujeme schopnosti agenta v různých podmínkách a ovlivňujeme ho, a zároveň způsob, jak vyšší mechanizmy agentova mozku kontrolují kognici s cílem zvýšení inteligence.

Keywords

inteligence, AGI, kognitivní architektura, metakognice, neinterpretované sensory, posilovací učení, embodiment, symbol grounding, senzomotorický vývoj, Turingův test, konstruktivní indukce

Language used: English

Date on which the thesis was submitted / produced: 23. 5. 2011

Identifier: 23335

Thesis defence

University of West Bohemia

Faculty of Applied Sciences

Doctoral programme / field:
Computer Science and Engineering / Computer Science and Engineering