24@KSMM'2023pb Wykrywanie zaburzeń psychicznych na podstawie mowy

typ projektu: badawczy

edycja: 2023pb

liczba studentów w projekcie 1 - 10

kierownik: Anna Rekiel

---

Celem projektu badawczego jest analiza powiązań pomiędzy próbką mowy
a związkiem z chorobami psychicznymi. Wśród przewidzianych zadań jest analiza sygnału
mowy (oraz mowy) osób ze zdiagnozowanymi zaburzeniami psychicznymi przy użyciu przetwarzania
sygnału (oraz analizy mowy). W dalszej części przewidziana jest  ekstrakcja cech związanych z sygnałem mowy i
wykorzystanie algorytmów uczących się.

Zaburzenia
psychologiczne i neurologiczne są to dwie główne kategorie zaburzeń człowieka,
które wpływają na jego zdolność myślenia, mówienia i zachowania. Dla przykładu
schizofrenia charakteryzuje się zaburzonym myśleniem, zaburzoną mową i nietypowymi
zachowaniami. Diagnoza kliniczna schizofrenii jest zazwyczaj oparta na pełnej
ocenie psychiatrycznej i mowie/zachowaniach obserwowanych w ramach wywiadu
klinicznego. Objawy schizofrenii można podzielić na dwa rodzaje, objawy
pozytywne i objawy negatywne. Brak emocji i niespójna ekspresja językowa są
typowymi cechami u chorych na schizofrenię z objawami negatywnymi, Grupy
schizofreniczne wykazują zmniejszoną zmienność wysokości dźwięku, zwiększone pauzy
oraz ubogą treść mowy. Liczba i czas trwania pauz są ściśle związane z oceną
spłaszczenia emocjonalnego. Innym przykładem może być depresja, którą definiuje się jako "poważna choroba, która objawia się smutkiem, utratą zainteresowań i przyjemności, poczuciem winy, niską samooceną, zaburzeniami snu i apetytu, uczuciem zmęczenia i osłabieniem koncentracji." Depresja wpływa też na sposób mówienia, a także na sposób wypowiedzi. Uważa się, że  mowie dotkniętej depresją występuje zmniejszenie lokalnego i globalnego rozprzestrzeniania się zdarzeń fonetycznych w przestrzeni akustycznej.

Zadania do wykonania:

Zapoznanie się z literaturą tematu

Zapoznanie się z dostępnymi bazami
danych chorób psychicznych

Wybór bazy do analizy sygnału

Analiza sygnałowa/mowy

Przygotowanie architektur algorytmów
uczących się

Detekcja mowy osób z zaburzeniami
psychicznymi za pomocą uczenia maszynowego

Analiza uzyskanych wyników

Wnioski

Przygotowanie publikacji

LIteratura:

Fu, J., Yang, S., He, F. et
al. Sch-net: a deep learning
architecture for automatic detection of schizophrenia. BioMed
Eng OnLine 20, 75 (2021). https://doi.org/10.1186/s12938-021-00915-2
, https://biomedical-engineering-online.biomedcentral.com/articles/10.1186/s12938-021-00915-2

Li Y, Lin Y, Ding H, Li C. Speech
databases for mental disorders: A systematic review. Gen Psychiatr. 2019 Jul
22;32(3):e100022. doi: 10.1136/gpsych-2018-100022. PMID: 31423472; PMCID:
PMC6677935., https://www.ncbi.nlm.nih.gov/pmc/articles/PMC6677935/

Cummins, Nicholas. (2016). Automatic assessment of depression from speech: paralinguistic analysis, modelling and machine learning. https://www.researchgate.net/publication/298392124_Automatic_assessment_of_depression_from_speech_pa...

(Depression and Other Common Mental Disorders)

https://apps.who.int/iris/bitstream/handle/10665/254610/WHO-MSD-MER-2017.2-eng.pdf 

Przykłady baz z
mową patologiczną.

 

Zestawienie wybranych baz danych mowy patologicznej (Typ
danych audio)

Orozco, J. R., Arias-Londoño, J. D., Vargas-Bonilla, J., González-Rátiva, M. i Noeth, E. New

Spanish speech corpus database for the analysis of
people suffering from Parkinson’s disease,

2014.

PC-GITA;

Rok powstania 2014
 

Język bazy hiszpański

Liczba próbek Parkinson:
3000

Grupa kontrolna: 3000

 

Mirheidari, B., Pan, Y., Walker, T., Reuber, M. i Venneri, A. Detecting
Alzheimer’s Disease by

estimating attention and elicitation path through the alignment of
spoken picture descriptions

with the picture prompt. 2019. DOI: 10.48550/ARXIV.1910.00515. URL: https://arxiv.

org/abs/1910.00515.

DementiaBank; 2005, angielski (ADReSSo
[Luz, S., Haider, F., Fuente, S. de la, Fromm, D. i MacWhinney, B. Detecting cognitive decline

using speech only: The ADReSSo Challenge, medRxiv 2021. DOI: 10.1101/2021.03.24.

21254263] – zestaw próbek
mowy pacjentów
cierpiących na
demencję wywołaną chorobą

Alzheimera (baza pochodząca z
korpusu Pitt DementiaBankzestawu DementiaBank) – próbki mowy chorych na demencję wywołaną chorobą

Alzheimera,

Demencja: 255

Grupa kontrolna: 242

Zaburzenia: 1002

Grupa kontrolna: 3000

Rodzaj próbek Pełne
zdania, pojedyncze

słowa, długie
samogłoski

Pełne
zdania, pojedyncze

słowa

Pełne
zdanie,

długie samogłoski

Liczba badanych

osób

Parkinson: 50

Grupa kontrolna: 50

Demencja: 188

Grupa kontrolna: 99

 

 

Martinez, D., Lleida, E., Ortega, A., Miguel, A. i Villalba, J. Voice Pathology Detection on

the Saarbrücken Voice Database with Calibration and
Fusion of Scores Using MultiFocal

Toolkit. vol. 328. 2012, s. 99–109. DOI: 10.1007/978-3-642-35292-8_11.

 

Saarbrücken Voice; 2007, niemiecki

 

Zaburzenia: 1002

Grupa kontrolna: 851

Zróżnicowanie

grupy badanych

Wiek: od 33 do 77 lat

Płeć: 25 kobiet i 25

mężczyzn

Wiek: od 45 do 90 lat

Płeć: 343 kobiety i

208 mężczyzn

Wiek: od 6 do 94 lat