스켈레톤 데이터를 이용한 고성능 인간 행동 인식을 위한 뷰 적응형 순환 신경망

스켈레톤 기반 인간 행동 인식은 3차원 스켈레톤 데이터의 보급으로 최근 주목을 받고 있습니다. 이 분야에서 주요 과제 중 하나는 캡처된 인간 행동에서 큰 시점 변동성을 다루는 것입니다. 우리는 행동이 발생하는 동안 관찰 시점을 자동으로 조절할 수 있는 새로운 시점 적응 방안을 제안합니다. 사람에 의해 정의된 사전 기준에 따라 스켈레톤을 재위치시키는 대신, LSTM 구조를 갖춘 시점 적응 순환 신경망(RNN)을 설계하여 네트워크 자체가 종단적으로 가장 적합한 관찰 시점을 스스로 적응하도록 합니다. 광범위한 실험 분석 결과, 제안된 시점 적응 RNN 모델이 (1) 다양한 시점의 스켈레톤을 훨씬 일관된 시점으로 변환하고 (2) 모든 프레임을 동일한 위치와 동일한 몸체 방향으로 변환하는 것이 아니라 행동의 연속성을 유지하려는 것으로 나타났습니다. 우리의 모델은 세 가지 벤치마크 데이터셋에서 최신 접근법보다 크게 개선되었습니다.