SkeleTR: 자연 환경에서의 스켈레톤 기반 동작 인식을 향하여

우리는 뼈대 기반 행동 인식을 위한 새로운 프레임워크인 SkeleTR를 제안한다. 기존 연구가 주로 통제된 환경에 초점을 맞추는 것과 달리, 본 연구는 일반적인 실외 환경을 대상으로 하며, 이는 일반적으로 사람 수가 변동되고 사람 간 다양한 형태의 상호작용이 존재하는 상황을 포함한다. SkeleTR는 두 단계 파라다임을 기반으로 작동한다. 먼저, 그래프 합성곱을 이용해 각 뼈대 시퀀스에 대한 개인 내 뼈대 동역학을 모델링하고, 이후 스택형 Transformer 인코더를 사용하여 실외 환경에서 행동 인식에 중요한 개인 간 상호작용을 포착한다. 정확한 뼈대 연결이 불완전할 경우 발생할 수 있는 부정적 영향을 완화하기 위해, SkeleTR는 상대적인 짧은 뼈대 시퀀스를 입력으로 사용하며, 시퀀스 수를 늘리는 전략을 취한다. 통합적인 솔루션으로서, SkeleTR는 비디오 수준의 행동 분류, 인스턴스 수준의 행동 탐지, 그룹 수준의 활동 인식 등 다양한 뼈대 기반 행동 인식 작업에 직접 적용 가능하다. 또한, 서로 다른 행동 작업과 데이터셋 간의 전이 학습 및 공동 학습을 가능하게 하여 성능 향상을 가져온다. 다양한 뼈대 기반 행동 인식 벤치마크에서 평가한 결과, SkeleTR는 최신 기술 수준(SOTA)의 성능을 달성하였다.