Sound source localization from a microphone array

Bc. Jakub Pekár

Bachelor's thesis

Abstract:

V této práci se zabývám metodami určenými k lokalizaci řečníků v interiéru, zejména hovořících studentů ve školním prostředí. Na tuto problematiku se dá pohlížet jako na specializovaný problém lokalizace audio zdroje v prostoru. Zkoumal jsem soubor metod určených k lokalizaci zvuku v prostoru, které zahrnují tradiční algoritmy a techniky strojového učení. Vzhledem k chybějícímu veřejně dostupnému datasetu, byla vytvořena vlastní sada dat, obsahující nahrávky ze čtyř různých místností, využívající kruhově rovnoměrně rozmístěných mikrofonů. Dále jsem vyhodnotil dvě potenciální umístění mikrofonů pro lokalizaci mluvících studentů ve školní učebně. Účinnost každé metody byla hodnocena pomocí syntetických i reálných dat, přičemž byla zohledněna obě navrhovaná umístění mikrofonů. Přestože žádná z hodnocených metod nedosáhla dostatečné přesnosti lokalizace hovořících studentů ve třídě, dvě tradiční metody, “Steered-Response Power Phase Transform“ a „Generalized Cross-Correlation Phase Transform“ s multilaterací pomocí “Particle Swarm Optimization“, prokázaly chvályhodnou přesnost lokalizace za pomocí mikrofonů umístěných na stropě. Na závěr diskutuji nedostatky testovaných metod, s důrazem na metody vyžadující trénink a potenciální vliv rozdílů mezi reálnými a syntetickými daty na výkonnost takových metod.

Abstract:

This thesis investigates the problem of indoor speaker localization, particularly concentrating on the localization of speaking students within a classroom setting, a specialized scenario in the expansive field of sound source localization (SSL). A spectrum of SSL methods was scrutinized, encompassing traditional algorithms and machine learning techniques, underpinned by a comprehensive theoretical exploration of SSL. A bespoke dataset was created due to the lack of an apt public dataset featuring recordings from four diverse rooms utilizing a circular microphone array with four uniformly spaced microphones. Furthermore, two potential microphone placements were assessed for localizing speaking students within a classroom setting. The efficacy of each method was gauged using both synthetic and real-world datasets, considering both proposed microphone arrangements. Despite none of the evaluated methods achieved localisation performance sufficient for localising students within classroom, two conventional methods, Steered-Response Power Phase Transform and Generalized Cross-Correlation Phase Transform with multilateration via Particle Swarm Optimization, demonstrated notable localization accuracy using ceiling-attached microphones on real-world evaluation data. The thesis concludes by elucidating the constraints of the tested methods, emphasizing those necessitating training, and discusses the potential influence of discrepancies between real-world and synthetic data on model performance.

Keywords

Sound Source Localization, Acoustic Source Localization, Time Difference Of Arrival, Neural Networks, 3D Localization, Indoor Speaker Localization, Lokalizace zdroje zvuku, Akustická lokalizace, Rozdíl v čase zachycení, Neuronové sítě, 3D lokalizace, Lokalizace v interiéru

Language used: English

Date on which the thesis was submitted / produced: 18. 5. 2023

Thesis defence

• Date of defence: 28. 6. 2023
• Supervisor: doc. RNDr. Petr Matula, Ph.D.
• Reader: doc. RNDr. David Svoboda, Ph.D.

Masaryk University

Faculty of Informatics

Bachelor programme / field:
Informatics / Informatics