SRNet: 분할 및 재결합 접근법을 통한 3차원 인간 자세 추정의 일반화 성능 향상

학습 데이터셋에서 드물거나 미처 보지 못한 인간 자세는 네트워크가 예측하기 어려운 문제를 야기한다. 시각 인식 분야의 긴 꼬리 분포(long-tailed distribution) 문제와 유사하게, 이러한 자세에 대한 예시 수가 적어 네트워크가 이를 효과적으로 모델링하는 데 한계가 있다. 흥미롭게도, 국소적 자세 분포는 긴 꼬리 문제에 덜 취약한 편이다. 즉, 드문 자세 내의 국소적인 관절 구성은 학습 데이터셋 내 다른 자세에서 이미 등장할 수 있으므로, 그 자체로는 그리 드물지 않다. 우리는 이러한 사실을 활용하여 드문 및 미처 경험하지 못한 자세에 대한 보다 우수한 일반화 성능을 달성하고자 한다. 구체적으로, 본 연구에서는 신체를 국소적 영역으로 분할하고 각 영역을 별도의 네트워크 브랜치에서 처리함으로써, 관절의 위치가 주로 해당 국소적 신체 영역 내의 관절에 의존한다는 특성을 활용한다. 동시에, 각 브랜치에 나머지 신체 부분으로부터 추출한 전역적 맥락을 저차원 벡터로 재결합함으로써 전역 일관성을 유지한다. 관련성이 낮은 신체 영역의 차원이 감소함에 따라, 네트워크 브랜치 내 학습 데이터 분포가 전역 신체 자세의 통계가 아니라 국소 자세의 통계에 더 가까워지며, 동시에 관절 추론에 중요한 정보를 손실하지 않는다. 제안된 분할-재결합 방식(Split-and-Recombine approach), 즉 SRNet은 단일 이미지 모델과 시간적 모델 모두에 쉽게 적용 가능하며, 드문 및 미처 경험하지 못한 자세 예측 성능에 상당한 향상을 가져온다.