노인 치매 환자의 자연스러운 보행 영상에서 파킨슨증 심각도 추정

치매를 동반한 고령자 중 약물 유도성 파킨슨병은 많은 환자에게 걸리며, 보행 장애를 유발하는 주요 원인 중 하나이다. 최근 시각 기반 인간 자세 추정 기술의 발전은 주거 환경에서 보행을 자주且비침습적으로 분석할 수 있는 가능성을 열었다. 본 연구는 새로운 공간-시간 그래프 컨볼루션 네트워크(ST-GCN) 아키텍처와 학습 절차를 활용하여 치매 환자의 영상에서 보행을 통해 파킨슨병의 임상 점수를 예측한다. 제안된 방법은 두 단계 학습 전략을 사용한다. 첫 번째 단계는 ST-GCN 모델이 임상 점수 예측 전에 보행 패턴을 학습하도록 유도하는 자기지도 학습(pretraining) 단계이며, 두 번째 단계는 미세 조정(finetuning)을 통해 실제 점수를 예측하는 단계이다. 제안된 ST-GCN 모델은 영상에서 추출한 관절 궤적을 기반으로 평가되었으며, 전통적인 회귀 모델(순서형 회귀, 선형 회귀, 랜덤 포레스트) 및 시계열 컨볼루션 네트워크(TCN) 기준 모델들과 비교되었다. 4787개의 자연스러운 보행 시퀀스(53명의 고령 치매 환자)에 대해 2D 인간 자세 추정 라이브러리 세 가지(OpenPose, Detectron, AlphaPose)와 Microsoft Kinect(2D 및 3D)를 활용하여 관절 궤적을 추출하였다. 그 중 14명의 참가자로부터 399개의 보행 시퀀스에 대해 유니티드 파킨슨병 평가 척도(UPDRS)의 보행 기준 및 Simpson-Angus 척도(SAS)의 파킨슨병 심각도 점수가 주석(annotation)되어 있다. 실험 결과, Kinect에서 추출한 3D 관절 궤적을 기반으로 동작하는 ST-GCN 모델이 모든 다른 모델 및 특징 집합보다 일관되게 우수한 성능을 보였다. 예측 대상이 되는 참가자의 자연스러운 보행 시퀀스에 대한 파킨슨병 점수 예측은 여전히 도전적인 과제로 남아 있으며, 최고 성능 모델의 경우 UPDRS-보행 및 SAS-보행에 대해 각각 평균 매크로 F1 점수 0.53 ± 0.03, 0.40 ± 0.02를 기록하였다. 본 연구의 사전 학습된 모델 및 데모 코드는 아래 링크에서 공개되어 있다: https://github.com/TaatiTeam/stgcn_parkinsonism_prediction.