스켈레톤 동작 인식의 현재와 미래 방향성은 무엇인가?

본 논문에서는 뼈대 기반 인간 행동 인식 분야의 현재와 미래 전초를 종합적으로 탐구한다. 자연 환경에서의 뼈대-행동 인식을 연구하기 위해, 대규모 행동 데이터셋인 Kinetics-700에서 수집한 RGB 비디오를 기반으로 하여 정교하게 구성되고 3차원 포즈 레이블이 부여된 데이터셋인 Skeletics-152를 제안한다. 또한, 맥락을 벗어난 행동을 포함한 연구를 확장하기 위해 최근 제안된 Mimetics 데이터셋에서 파생된 Skeleton-Mimetics 데이터셋을 도입한다. 더불어, 인기 있는 소셜 게임 '덤브 차라데스(Dumb Charades)'와 해석적 무용 공연의 캡션 형식으로 레이블링된 YouTube 영상으로 구성된 Metaphorics 데이터셋을 제시한다. 본 연구에서는 NTU-120 데이터셋에서 최신 기술 수준의 모델들을 평가하고, 다층적 평가 체계를 제공한다. 새로 제안된 데이터셋에서 NTU-120 최고 성능 모델들을 평가한 결과는 자연 환경에서의 행동 인식에 있어 초래되는 도전 과제와 도메인 갭(domain gap)을 명확히 드러낸다. 종합적으로, 본 연구는 기존 접근법과 데이터셋의 강점과 한계를 체계적으로 분석하며, 제안된 데이터셋을 통해 인간 행동 인식 분야의 새로운 전초를 열 수 있도록 기여한다.