Funkční bezpečnost systémů strojového vidění v automomních vozidlech

Ing. Václav DIVIŠ

Doctoral thesis

Functional safety in computer vision systems for autonomous vehicles

Abstract:

While Artificial Intelligence (AI) in general and Deep Neural Network (DNN)s, in particular, can already beat humans on diverse tasks, the safety aspects and deep understanding of the processes are still ambiguous. It has been proven in the past that the decision process of a Machine Learning (ML) model can be influenced in many ways. In a driving car, misleading information could either cause an accident or lead to a sudden and unexpected interaction between the driver and the car. Reaching level 3 and higher levels of autonomous driving brings a strong focus on critical operations in neural networks. The extent of critical components and safe state is not defined by ISO 26262, nor Safety Of The Intended Functionality (SOTIF), which forces the Original Equipment Manufacturer (OEM)s to work independently on their own safety concepts. In this work, I seek answers to the standardized functional safety development process related to the DNNs deployed in the automotive field. In the Introduction, I summarize the motivation and define the current problem of reaching a trustworthy and robust ML algorithm. I most often relate my argumentation to the state-of-the-art methods of Software (SW) development in the automotive industry, especially highlighting the two functional safety norms that are used during the development and deployment of safety-relevant applications such as advanced autonomous driving assistance. In the second part, which consists of 4 Chapters, I focus on the computer vision field and sources of potential failures. Namely in Chapter 4, I describe which influence a dataset has on the robustness of a trained model and how to prevent missing features in it. In Chapter 5, I look at the problem of decision uncertainty, which is a result of the model's incapability to fully generalize and reason. Furthermore, a novel approach to estimating whether the deployed model operates within or outside of the model's scope is presented. In Chapter 6, dedicated to evaluation metrics, the focus is on how methods that have been used in the automotive field for years can be used to evaluate contemporary black-box computer vision models. Based on the latest results and the conclusions drawn from them, I've created an overview of gaps between the expectations derived from the functional norm and the measures that were developed to close the ambiguity surrounding the black-box development of the computer vision model. Information in this work can be used and should extend the development and evaluation process of DNNs used in computer vision in the automotive field based on ISO26262 Appendix 6 and ISO/PAS 21448:2019

Abstract:

Ačkoli umělá inteligence obecně a zejména hluboké neuronové sítě (DNN) již dokážou překonat člověka v různých úlohách, bezpečnostní aspekty a hluboké porozumění procesům jsou stále nejednoznačné. V minulosti bylo prokázáno, že rozhodovací proces modelu strojového učení (ML) lze ovlivnit mnoha způsoby. V případě řízení automobilu mohou zavádějící informace způsobit nehodu nebo vést k náhlé a neočekávané interakci mezi řidičem a automobilem. Dosažení třetí a vyšší úrovně autonomního řízení přináší velký důraz na kritické operace v neuronových sítích. Rozsah kritických součástí a bezpečného stavu není definován normou ISO 26262 ani normou Safety Of The Intended Functionality (SOTIF), což nutí výrobce originálního vybavení (OEM) pracovat nezávisle na vlastních bezpečnostních koncepcích. V této práci hledám odpovědi na standardizovaný proces vývoje funkční bezpečnosti týkající se DNN nasazených v automobilovém průmyslu. V úvodu shrnuji motivaci a definuji aktuální problém dosažení důvěryhodného a robustního ML algoritmu. Svou argumentaci nejčastěji vztahuji k nejmodernějším metodám softwarového (SW) vývoje v automobilovém průmyslu, zejména zdůrazňuji dvě normy funkční bezpečnosti, které se používají při vývoji a nasazování aplikací důležitých z hlediska bezpečnosti, jako je například pokročilá autonomní asistence při řízení. Ve druhé části, která se skládá ze 4 kapitol, se zaměřuji na oblast počítačového vidění a zdroje možných selhání. Konkrétně v kapitole 4 popisuji, jaký vliv má datová sada na robustnost natrénovaného modelu a jak v ní zabránit chybějícím rysům. V kapitole 5 se zabývám problematikou rozhodování. nejistoty, která je důsledkem neschopnosti modelu plně zobecňovat a uvažovat. Dále je představen nový přístup k odhadu, zda nasazený model funguje v rámci oblasti působnosti modelu nebo mimo ni. V kapitole 6, věnované hodnotícím metrikám, je pozornost zaměřena na to, jak lze metody, které se již léta používají v automobilovém průmyslu, využít k hodnocení současných modelů počítačového vidění typu black-box. Na základě nejnovějších výsledků a závěrů z nich vyvozených jsem vytvořil přehled mezer mezi očekáváními odvozenými z funkční normy a opatřeními, která byla vyvinuta k odstranění nejasností kolem vývoje modelu počítačového vidění typu black-box. Informace v této práci lze využít a měly by rozšířit proces vývoje a hodnocení DNN používaných v počítačovém vidění v oblasti automobilového průmyslu na základě norem ISO26262 dodatek 6 a ISO/PAS 21448:2019.

Keywords

Doménově orientované dataset, rozpoznávání detekce mimo distribuci modelu, bezpečnostně kritické aplikace, kritičnost neuronů, robustnost systémů počítačového vidění

Language used: English

Date on which the thesis was submitted / produced: 23. 2. 2024

Accessible from:: 31. 12. 2999

Thesis defence

• Supervisor: Doc. Ing. Miloš Železný, Ph.D.

University of West Bohemia

Faculty of Applied Sciences

Doctoral programme / field:
Applied Sciences and Computer Engineering / Cybernetics