심리적 고통에서의 신체 동작과 자가 조절 동작의 자동 분석

심리적 고통은 사회에서 중요한 문제이며 점점 더 심각해지고 있습니다. 이러한 고통의 자동 감지, 평가 및 분석은 활발히 연구되고 있는 영역입니다. 얼굴, 머리, 목소리 등의 모달리티와 비교하여 이 같은 작업을 위해 신체 모달리티를 활용하는 연구는 상대적으로 적습니다. 이는 부분적으로 사용 가능한 데이터셋이 제한적이며 유용한 신체 특성을 자동으로 추출하기 어려운 데 기인합니다. 최근 포즈 추정과 딥러닝의 발전으로 이 모달리티와 영역에 대한 새로운 접근법이 가능해졌습니다. 이러한 연구를 지원하기 위해 우리는 짧은 인터뷰 동영상과 자기보고 심리적 고통 라벨을 포함하는 새로운 데이터셋을 수집하고 분석했습니다. 우리는 심리적 고통과 관련이 있다는 것이 입증된 자기 조절 행동(self-adaptors)의 하위 집합인 불안정한 움직임(fidgeting)을 자동으로 감지하는 새로운 방법을 제안합니다. 우리는 통계적인 신체 제스처와 불안정한 움직임 특성을 분석하여 고통 수준이 참여자의 행동에 어떻게 영향을 미치는지를 탐구합니다. 그런 다음 다중 모달 접근법을 제안하여 다양한 특성 표현을 다중 모달 딥 노이즈 제거 오토인코더(Multi-modal Deep Denoising Auto-Encoders)와 개선된 피셔 벡터 인코딩(Improved Fisher Vector Encoding)을 사용하여 결합합니다. 우리는 제안된 모델이 오디오-비주얼 특성과 자동으로 감지된 불안정한 움직임 행동 신호를 결합하여 자기보고 불안 및 우울 수준으로 라벨링된 데이터셋에서 성공적으로 고통 수준을 예측할 수 있음을 보여줍니다.