Automated neural network learning for higher accuracy human skeleton detection under realistic conditions

Damián Sova

Master's thesis

Automatizované učení neuronových sítí pro přesnější detekci lidské kostry v reálných podmínkách

Abstract:

Nedávné pokroky v počítačovém vidění vedly k širokému rozšíření neuronových sítí pro odhadování polohy člověka, ale přetrvávají problémy při aplikaci těchto technologií v reálných scénářích. Přestože se přesnost referenčních datových sad stále zlepšuje, mnoho stávajících datových sad nedokáže zachytit složitosti, které se vyskytují v praktických aplikacích, jako jsou osoby v různé vzdálenosti od kamery, přeplněná prostředí a silně zakryté scény. Modely trénované na těchto souborech dat proto často vykazují při nasazení v reálném prostředí značně nízkou výkonnost. Tato práce zavádí nový přístup Unified Format, který tyto problémy řeší standardizací agregace výstupů z různých modelů neuronových sítí. Sjednocením výstupů modelů, jako jsou MoveNet, PoseNet a MMPose, do ucelené struktury usnadňuje Unified Format vytváření přizpůsobených datových sad určených reálným podmínkám. Hodnocení výkonnosti sjednocených formátů ukazuje slibné výsledky, zejména v ukazatelích, jako je Průměrná Procentní Chyba (APE) a Střední Kvadratická Chyba (MSE), které naznačují těsnou shodu mezi předpovídanými a pravdivými klíčovými body. Problémy však vznikají u metriky Podobnosti Klíčových Bodů Objektů (OKS) kvůli přísným kritériím hodnocení a rozdílům v predikci mezi modely. Nízké hodnoty metriky OKS jsou důsledkem upřednostnění jednoduchosti a rychlosti detekčních modelů před přesností. Použití přesnějších modelů by mohlo výrazně zlepšit skóre OKS v reálných scénářích. Přesto si sjednocený formát vede uspokojivě při přesné lokalizaci klíčových bodů. Souhrnně lze říci, že ačkoli tato práce nepředkládá důkazy o podstatném zlepšení oproti stávajícím srovnávacím výkonům, úspěšně řeší problémy spojené s vytvářením datových sad pro odhad lidské pózy tím, že navrhuje a implementuje Unified Format. Tento formát usnadňuje agregaci výstupů z více modelů neuronových sítí, čímž zjednodušuje proces vytváření datových sad. Navzdory přetrvávajícím výzvám se nabízí zdokonalování a zkoumání technik vedoucích k dalšímu zlepšení Unified Format a k pokroku v oblasti odhadu lidské polohy.

Abstract:

Recent advancements in computer vision have led to the widespread adoption of neural networks for human pose estimation, yet challenges persist in applying these technologies to real-world scenarios. While accuracy on benchmark datasets continues to improve, many existing datasets fail to capture the complexities encountered in practical applications, such as individuals at varying distances from the camera, crowded environments, and heavily occluded scenes. Consequently, models trained on such datasets often exhibit significant underperformance when deployed in real-world settings. This thesis introduces a novel Unified Format approach to address these challenges by standardizing the aggregation of outputs from diverse neural network models. By unifying the outputs of models like MoveNet, PoseNet, and MMPose into a cohesive structure, the Unified Format facilitates the creation of customised datasets tailored to real-world conditions. The Unified Formats performance evaluation reveals promising results, particularly in metrics such as Average Percentage Error (APE) and Mean Squared Error (MSE), which indicate close alignment between predicted and ground-truth keypoints. However, challenges arise with the Object Keypoint Similarity (OKS) metric due to stringent evaluation criteria and prediction discrepancies among models. The low OKS metric values stem from prioritizing detection models for simplicity and speed over precision. Using more accurate models tailored for dataset creation could significantly improve OKS scores in real-world scenarios. Nonetheless, the Unified Format performs satisfactorily in accurately localizing keypoints, especially compared to individual model outputs. In summary, while this thesis does not present evidence of substantial improvement over existing benchmark performances, it successfully addresses the challenges associated with human pose estimation dataset creation by proposing and implementing a Unified Format. The format facilitates the aggregation of outputs from multiple neural network models, streamlining the dataset generation process. Despite remaining challenges, continued refinement and exploration of techniques offer opportunities to improve the Unified Format further and advance the field of human pose estimation.

Abstract:

Nedávne pokroky v oblasti počítačového videnia viedli k rozsiahlemu prijatiu neurónových sietí pre odhad ľudskej pózy, avšak výzvy pretrvávajú pri aplikácii týchto technológií v reálnych scenároch. Zatiaľ čo sa presnosť na benchmarkových datasetoch stále zlepšuje, mnohé existujúce datasety nedokážu zachytiť zložitosť, s ktorou sa stretávame v praktických aplikáciách. Ako sú napríklad jednotlivci v rôznych vzdialenostiach od kamery, preplnené prostredia a scény z ťažkým prekrývaním. V dôsledku toho modely trénované na takýchto datasetoch často prejavujú výrazný nedostatok výkonu pri nasadení v reálnych prostrediach. Táto práca uvádza nový prístup Zjednotený Formát na riešenie týchto výziev prostredníctvom štandardizácie agregácie výstupov z rôznych modelov neurónových sietí. Zjednocovaním výstupov modelov ako MoveNet, PoseNet a MMPose do koherentnej štruktúry umožňuje Zjednotený Formát vytváranie špecifických datasetov prispôsobených reálnym podmienkam. Hodnotenie výkonu Zjednoteného Formátu odhalilo sľubné výsledky, najmä v metrikách ako Priemerná Percentuálna Chyba (APE) a Priemerná Štvorcová Chyba (MSE), ktoré naznačujú výraznú blízkosť medzi predpovedanými a skutočnými kľúčovými bodmi osôb na obraze. Avšak, výzvy vznikajú s metrikou Podobnosti Kľúčových Bodov Objektu (OKS) kvôli prísnym evaluačným kritériám a rozdieľom predikcií medzi použitými modelmi. Nízke hodnoty metriky OKS vychádzajú z aplikovania detekčných modelov zameraných na jednoduchosť a rýchlosť oproti presnosti. Použitie presnejších modelov prispôsobených na presnosť detekcie by významne zlepšilo skóre OKS v reálnych scenároch. Napriek tomu Zjednotený Formát uspokojivo funguje pri lokalizovaní kľúčových bodov. Táto práca nepredstavuje dôkazy o významnom zlepšení oproti existujúcim výkonom benchmarkov, úspešne však rieši výzvy spojené s tvorbou datasetov na odhad ľudskej pózy prostredníctvom navrhovania a implementácie Unified Formátu. Tento prístup umožňuje agregáciu výstupov z viacerých modelov neurónových sietí, zjednodušujúc proces generovania datasetov. Napriek prítomným výzvam existujú ďalšie možnosti na zdokonalenie a preskúmanie techník pre zlepšenie Unified Formátu, ktoré môžu posunúž oblast odhadu ľudskej pózy vpred.

Keywords

odhad pózy, detekce lidské kostry, generování dat

Keywords

data generation, pose estimation, human skeleton detection

Keywords

detekcia ľudskej kostry, odhadovanie pózy, generovanie dát

Language used: English

Date on which the thesis was submitted / produced: 12. 5. 2024

Thesis defence

• Supervisor: doc. Ing. Oldřich Trenz, Ph.D.
• Reader: Jan Kolomazník, Ph.D.

Mendel University in Brno

Faculty of Business and Economics

Master programme / specializace:
Open Informatics / Scope for Open Informatics