7@DBE'2022pb AI Tech: System wykrywania stanu kierowcy z wykorzystaniem obrazowania multimodalnego i algorytmów uczenia maszynowego

project type: application

edition: 2022pb

number of students in project 3 - 5

manager: Paulina Leszczełowska

Cel projektu:

Celem projektu jest opracowanie, realizacja i ocena systemu wykrywania stanu kierowcy z wykorzystaniem obrazowania multimodalnego i algorytmów uczenia maszynowego.

Inteligentne systemy asystujące kierowców coraz częściej wspomagają bezpieczeństwo osób na drogach. Wytyczne UE wskazują konieczność montowania takich systemów w samochodach (np. [1][2]). W ramach projektu należy opracować innowacyjny system złożony z co najmniej dwóch kamer: wizyjnej i termalnej oraz z oprogramowania implementującego zaprojektowane i zbadane algorytmy uczenia maszynowego oceniającego aktywność osoby, temperaturę, częstość oddychania i inne parametry.

Zadania:

1.    Analiza stanu wiedzy, podobnych rozwiązań i powiązanych algorytmów uczenia maszynowego.

2.    Zbudowanie modułu złożonego z co najmniej dwóch kamer: wizyjnej i termalnej do obserwacji twarzy kierowcy i jednostki wykonawczej (moduł może być złożony z gotowych komponentów i odpowiednio zintegrowanych).

3.    Zaprojektowanie i implementacja oprogramowania modułu (w szczególności przechwytywanie sekwencji obrazów).

4.    Przygotowanie uproszczonego stanowiska symulacyjnego do pomiarów obrazu twarzy kierowcy (konsola + kierownica) oraz zebranie własnego zbioru danych.

5.    Przeprowadzenie eksperymentów na istniejących bazach danych oraz przygotowanych zbiorach w zakresie doboru lub rozwoju modeli uczenia maszynowego dla potrzeb detekcji twarzy, punktów charakterystycznych twarzy, estymacji temperatury i częstości oddychania, itp.

6.    Integracja stanowiska, przeprowadzenie eksperymentów walidacyjnych.

7.    Przygotowanie wniosków i artykułu z rezultatami projektu.

Dodatkowe informacje:

Mile widziane doświadczenie w Python, OpenCV. Kamery i moduły komputerowe będą zakupione (PG).

[1] https://www.cameramatics.com/blog/posts/cameramatics-driver-fatigue-warning-system-and-how-it-works

[2] https://www.intellitrac.com.au/DriverDistractionCamera.html

Temat kierowany wyłącznie do studentów specjalności AI Tech: uczenie maszynowe lub sztuczna inteligencja.

Zgłaszając się do realizacji projektu wykonawca przyjmuje do wiadomości, że temat projektu będzie wymagał przeniesienia praw majątkowych do wytworzonego utworu/wyników projektu w celu publikacji w czasopiśmie naukowym lub materiałach konferencyjnych.