극단적으로 증강된 스켈레톤 시퀀스를 이용한 대조적 학습을 통한 자기 지도 행동 인식

최근 몇 년간, 대조 학습 방법의 발전에 따라 스켈레톤 기반 행동 인식을 위한 자기 지도 표현 학습이 개발되었습니다. 기존의 대조 학습 방법은 일반적인 증강을 사용하여 유사한 양의 샘플을 구성하므로 새로운 움직임 패턴을 탐색하는 능력이 제한됩니다. 본 논문에서는 극단적인 증강으로 도입된 움직임 패턴을 더 효과적으로 활용하기 위해, 풍부한 정보 채굴을 이용한 자기 지도 행동 표현 학습(Contrastive Learning framework utilizing Abundant Information Mining for self-supervised action Representation, AimCLR) 프레임워크를 제안합니다.첫째, 다양한 양의 샘플을 얻기 위해 극단적인 증강과 에너지 기반 주의력 안내 드롭 모듈(Energy-based Attention-guided Drop Module, EADM)을 제안합니다. 이는 새로운 움직임 패턴을 제공하여 학습된 표현의 보편성을 향상시킵니다. 둘째, 극단적인 증강을 직접 사용하면 원래 식별자가 크게 변해 성능 향상을 가져오지 못할 수 있으므로, 더 부드러운 방식으로 분포 차이를 최소화하는 이중 분포 차이 최소화 손실(Dual Distributional Divergence Minimization Loss, D(^3)M Loss)를 제안합니다. 셋째, 풍부한 정보 채굴 과정을 더욱 합리적으로 만들기 위해 가장 가까운 이웃 채굴(Nearest Neighbors Mining, NNM) 방법을 제안합니다.NTU RGB+D 60, PKU-MMD, NTU RGB+D 120 데이터셋에서 수행된 철저한 실험 결과는 우리의 AimCLR이 다양한 평가 프로토콜 하에서 최신 기술보다 현저히 우수한 성능을 보이며 더 높은 품질의 행동 표현을 제공함을 확인하였습니다. 우리의 코드는 https://github.com/Levigty/AimCLR에서 다운로드할 수 있습니다.