개인 행동 레이블 없이 스켈레톤에서 학습 그룹 활동 분석하기

인간의 행동을 이해하기 위해서는 단순히 개인의 행동을 인식하는 것뿐만 아니라, 가능성이 있는 복잡한 집단 활동과 상호작용을 모델링해야 한다. 계층적 모델은 집단 활동 인식에서 가장 뛰어난 성능을 보이지만, 개별 행동에 대해 액터 수준에서 세밀한 레이블을 필요로 한다. 본 논문에서는 단지 골격 데이터(skeletal data)만을 사용하여, 시퀀스 수준에서 집단 활동 레이블만을 활용해 최신의 엔드 투 엔드(end-to-end) 시스템을 훈련할 수 있음을 보여준다. 실험 결과, 개별 행동에 대한 감독 없이 훈련된 모델은 성능이 크게 저하됨을 확인하였다. 반면, 사전 훈련된 특징 추출기(Feature Extractor)를 활용하여 의사 레이블(pseudo-labels)을 계산할 수 있으며, 이 방법을 통해 비교 가능한 최종 성능을 달성할 수 있음을 입증하였다. 마지막으로, 철저하게 설계된 간결한 포즈 중심 아키텍처는 더 복잡한 다중 모달(multimodal) 접근 방식과 비교해도 매우 경쟁력 있는 성능을 보이며, 자율 감독(self-supervised) 변형에서도 우수한 성능을 나타낸다.