Shap-Mix: 긴 꼬리 형식의 스켈레톤 기반 동작 인식을 위한 셰플리 값 유도 혼합

실제 환경에서는 인간의 행동이 종종 긴 꼬리 분포(long-tailed distribution)를 보인다. 이로 인해 대부분 균형 잡힌 데이터셋을 기반으로 설계된 기존의 스켈레톤 기반 행동 인식 기법들이 급격한 성능 저하를 겪게 된다. 최근에는 이미지 및 영상 데이터에 대한 긴 꼬리 학습(long-tailed learning)에 대한 많은 연구가 진행되었지만, 특히 모달리티 특화 기법(예: 데이터 증강)의 경우 공간-시계열 운동 패턴이라는 핵심 요소를 충분히 고려하지 못함으로써 스켈레톤 데이터에 직접 적용하는 것은 최적의 결과를 내기 어렵다. 이를 해결하기 위해, 공간적으로 집중된 인간 행동에서 신체 부위의 중요성을 고려하여, 혼합 증강(mixing augmentations)에 주목하고, 꼬리 계열 카테고리에 대한 대표적인 운동 패턴을 탐색함으로써 긴 꼬리 학습을 개선하는 새로운 방법인 Shap-Mix를 제안한다. 구체적으로, 스켈레톤 데이터의 표현 품질을 향상시키기 위한 효과적인 공간-시계열 혼합 전략을 개발한다. 이후, Shapley 값 기반의 선명도 추정(saliency estimation)과 꼬리 인지 혼합 정책(tail-aware mixing policy)으로 구성된 선명도 안내 방법을 도입하여, 혼합 데이터 내에서 소수 계열 클래스의 중요한 운동 부분을 보존하고, 핵심 신체 구조적 신호와 고수준 의미 간의 명시적 관계를 형성한다. 세 개의 대규모 스켈레톤 데이터셋에서 실시한 광범위한 실험 결과, 긴 꼬리 설정뿐만 아니라 균형 잡힌 설정에서도 본 방법이 뛰어난 성능 향상을 보였다. 본 연구의 프로젝트는 공개되어 있으며, 아래 링크에서 확인할 수 있다: https://jhang2020.github.io/Projects/Shap-Mix/Shap-Mix.html.