스켈레톤 데이터를 이용한 동작 인식 및 검출을 위한 계층적 집계를 통한 공존 특징 학습

최근 대규모 스켈레톤 데이터셋의 확보로 인해 스켈레톤 기반 인간 행동 인식이 점점 더 많은 주목을 받고 있습니다. 이 작업의 가장 중요한 요소는 두 가지 측면에 있습니다: 관절 동시 발생의 프레임 내 표현과 스켈레톤의 시간적 진화를 나타내는 프레임 간 표현입니다. 본 논문에서는 엔드투엔드 컨볼루션 동시 발생 특성 학습 프레임워크를 제안합니다. 동시 발생 특성은 계층적 방법론을 통해 학습되며, 여기서 다양한 수준의 맥락 정보가 점진적으로 집계됩니다. 먼저 각 관절의 포인트 레벨 정보가 독립적으로 인코딩됩니다. 그런 다음 공간 및 시간 영역에서 의미론적 표현으로 조립됩니다. 특히, 전역 공간 집계 방식을 도입하여 로컬 집계보다 우수한 관절 동시 발생 특성을 학습할 수 있습니다. 또한 원시 스켈레톤 좌표와 그 시간 차분이 두 스트림 패러다임을 통해 통합됩니다. 실험 결과, 제안된 접근법이 NTU RGB+D, SBU Kinect Interaction, PKU-MMD 등의 행동 인식 및 감지 벤치마크에서 다른 최신 연구들보다 일관되게 우수한 성능을 보임을 확인할 수 있었습니다.