자기지도 학습을 통한 인간 행동 인식을 위한 모델 간 스트림 간 학습

인스턴스 수준의 구분 능력을 고려할 때, MoCo 및 SimCLR와 같은 대조 학습 방법들은 원래 이미지 표현 학습 과제에서 출발하여 자기지도 학습 기반 뼈대 기반 동작 인식 과제에 적응되어 왔다. 이러한 방법들은 일반적으로 다중 데이터 스트림(예: 관절, 운동, 뼈)을 활용하여 앙상블 학습을 수행하지만, 단일 스트림 내에서 구분 가능한 특징 공간을 어떻게 구성하고, 다중 스트림 간의 정보를 효과적으로 통합할 것인지에 대한 문제는 여전히 미해결 과제로 남아 있다. 이를 해결하기 위해 본 논문은 뼈대 데이터로부터 학습하기 위해 새로운 대조 학습 방법인 BYOL을 처음으로 적용하고, 이를 기반으로 자기지도 학습 기반 뼈대 기반 동작 인식을 위한 간단하면서도 효과적인 베이스라인인 SkeletonBYOL을 제안한다. SkeletonBYOL의 영감을 받아, 본 논문은 Cross-Model 및 Cross-Stream(CMCS) 프레임워크를 further 제안한다. 이 프레임워크는 Cross-Model 적대적 학습(CMAL)과 Cross-Stream 협업 학습(CSCL)을 결합한다. 구체적으로 CMAL은 단일 스트림 표현을 교차 모델 적대적 손실을 통해 학습함으로써 더 구분 가능한 특징을 얻는다. 다중 스트림 정보를 통합하고 상호작용하기 위해, CSCL은 앙상블 학습의 유사도 의사 레이블을 생성하여 supervision으로 활용하고, 개별 스트림의 특징 생성을 안내한다. 세 가지 데이터셋에서 수행된 광범위한 실험을 통해 CMAL과 CSCL 간의 보완적 특성이 입증되었으며, 제안된 방법이 다양한 평가 프로토콜에서 최신 기술(SOTA)보다 우수한 성능을 달성함을 확인하였다.