SkeleMotion: 3D 행동 인식을 위한 운동 정보 기반의 새로운 골격 관절 시퀀스 표현 방법

대규모 스켈레톤 데이터셋의 이용 가능성이 높아짐에 따라, 3차원 인간 행동 인식은 최근 컴퓨터 비전 연구 분야에서 주목받고 있습니다. 많은 연구들은 스켈레톤 관절의 공간 구조를 기반으로 하는 스켈레톤 이미지 표현 방식에 초점을 맞추어 진행되었습니다. 이 방식에서는 시퀀스의 시간적 동역학이 열의 변화로, 각 프레임의 공간 구조가 행렬의 행으로 표현됩니다. 이러한 표현을 더욱 개선하기 위해, 본 연구에서는 컨볼루셔널 신경망(CNNs) 입력으로 사용될 새로운 스켈레톤 이미지 표현 방식인 SkeleMotion을 제안합니다. 제안된 접근법은 스켈레톤 관절의 크기와 방향 값을 명시적으로 계산하여 시간적 동역학을 인코딩합니다. 다양한 시간 척도를 사용하여 운동 값을 계산함으로써, 표현에 더 많은 시간적 동역학을 집계하여 장거리 관절 상호작용을 포착할 수 있으며, 노이즈 운동 값을 필터링할 수 있습니다. 실험 결과는 제안된 표현 방식이 3차원 행동 인식에서 효과적이며, NTU RGB+D 120 데이터셋에서 최신 기술보다 우수한 성능을 보임을 입증하였습니다.