Autonomní řízení vozidel

Martin Krybus

Master's thesis

Autonomous Driving for Vehicles

Abstract:

Autonomní řízení vozidel má potenciál zvýšit účinnost dopravního systému tím, že zcela eliminuje lidský faktor. Autonomní řízení snižuje ekologickou stopu šetrnějším chováním k životnímu prostředí v podobě nižších emisí, kromě toho dělá dopravu dostupnější zejména pro osoby, které kvůli zdravotním omezením nemohou řídit vozidlo sami. Cílem práce je vytvořit simulátor automobilu pro zkoušení algoritmů reinforcement learningu s aplikací v autonomním řízení. Konkrétně v práci zkouším využít Q-Learning algoritmus v kombinaci s hlubokou neuronovou Q sítí k učení ovládání vozidla z jeho vlastních zkušeností získaných pomocí pokusů a omylů. Prováděny byly dva experimenty. První zkouší vozidlo naučit vozidlo závodnímu stylu jízdy a druhý naopak plynulému a bezpečnému stylu jízdy. Problém učení řízení byl rozdělen do dvou fází, přičemž každá fáze využívala svoji vlastní instanci konvoluční neuronové sítě a byly trénovány zvlášť ve zvoleném pořadí. Veškerý trénink byl realizován v procedurálně generovaném prostředí s vozidlem vsazeným do něj. Vozidlo s uživatelsky definovatelnými fyzikálními vlastnostmi a parametry umožňuje zkoušet algoritmus s různými typy vozidel. Vstupem modelů jsou snímky pořízené přední kamerou, která zachycuje bezprostřední okolí vozidla a simuluje výhled řidiče. Výstupem práce je systém pro simulaci jízdy různé složitosti, jenž je schopen sdílet informace o situaci kolem vozidla a zároveň umožní toto vozidlo řídit pomocí algoritmu reinforcement learningu nazývaného Q-Learning.

Abstract:

Autonomous driving has the potential to increase the efficiency of the transport system by completely eliminating the human factor. Autonomous driving reduces the ecological footprint through more environmentally friendly behavior in the form of lower emissions, in addition to making transport more accessible, especially for people who cannot drive alone due to health restrictions. The aim of the work is to create a car simulator for testing reinforcement learning algorithms with an application in autonomous control. Specifically, in my work I try to use the Q-Learning algorithm in combination with a deep neural Q network to learn to control the vehicle from his own experience gained through trial and error. Two experiments were performed. The first tests the vehicle to teach the vehicle a racing driving style and the second, on the contrary, a smooth and safe driving style. The control learning problem was divided into two phases, each phase using its own instance of a convolutional neural network and being trained separately in the chosen order. All training was carried out in a procedurally generated environment with the vehicle inserted into it. A vehicle with user-definable physical properties and parameters allows the algorithm to be tested with different types of vehicles. The input of the models are images taken by a front camera, which captures the immediate surroundings of the vehicle and simulates the driver's view. The output of the work is a system for simulating driving of various complexity, which is able to share information about the situation around the vehicle and at the same time allow to control this vehicle using a reinforcement learning algorithm called Q-Learning.

Keywords

Hluboké Q Sítě, Q-Learning, Reinforcement learning, simulátor, procedurálně generované trasy

Keywords

Autonomous driving, Deep Q networks, Q-Learning, Reinforcement learning, simulator, procedurally generated tracks

Language used: Czech

Date on which the thesis was submitted / produced: 30. 4. 2021

Thesis defence

• Date of defence: 2. 6. 2021
• Supervisor: Jan Platoš
• Reader: Pavel Krömer

VSB – Technical University of Ostrava

Fakulta elektrotechniky a informatiky

Master programme / field:
Informační a komunikační technologie / Informatika a výpočetní technika