Zpětnovazební učení pro řízení optimalizovaných vestavěných systémů

Jakub Novák

Diplomová práce

Reinforcement Learning for Optimized Embedded Systems Control

Anotace:

Cílem této práce je optimalizace využití energie nezávislého vestavěného systému. Pro dlouhodobé měření znečištění ovzduší je potřeba zařízení umístit na odlehlou lokalitu, kde není možné napájet zařízení z eletrizační soustavy. K tomuto účelu byl zvolen řídicí algoritmus z oblasti zpětnovazebního učení, který je schopen naučit se žádaného chování na základě předepsané strategie. V práci jsou popsány principy zpětnovazebního učení a energeticky nezávislých vestavěných systémů. Testování je provedeno v simulačním prostředí a jeho výsledky jsou srovnány s převzatým algoritmem časově závislého řízení. Pro simulaci byly použity meteorologická data v průběhu čtyř let. Vytvořený algoritmus vykazuje větší robustnost, minimalizuje množství energie ztracené v důsledku plného nabití superkapacitoru a zamezuje jakýmkoliv výpadkům energie. Na základě zjištěných údajů je možné algoritmus použít na fyzickém zařízení.

Abstract:

The aim of this thesis is to optimize the energy use of an independent embedded system. For long term measurements of air pollution, it is necessary to place the device in a remote location, where it is not possible to supply energy demands from power grid. For this purpose a reinforcement learning algorithm has been choosen. Which is able to learn the desired behaviour based on the prescribed policy. The thesis describes the principles of reinforcement learning and energy independent embbeded systems. Testing is done in simulation enviroment and its results are compared with time based control. For simulation, meteorogical data was used over the course of four years. The created algorithm exhibits greater robustness, minimizes supercapacitor overcharging and prevents any power outages. Based on the simulation results controlling algorithm is capable of long term control and can be used on target device.

Klíčová slova

Zpětnovazební učení, Q-learning, Energetický nezávislý vestavěný systém, Dependency injection

Keywords

Reinforcement learning, Q-learning, Energy independent embedded system, Dependency injection

Jazyk práce: čeština

Datum vytvoření / odevzdání či podání práce: 30. 4. 2019

Obhajoba závěrečné práce

• Obhajoba proběhla 30. 5. 2019
• Vedoucí: Michal Prauzek
• Oponent: Tomáš Peterek

VŠB - Technická univerzita Ostrava

Fakulta elektrotechniky a informatiky

Magisterský studijní program / obor:
Elektrotechnika / Řídicí a informační systémy