DECA: 캡슐 오토인코더를 사용한 깊이 있는 시점-등가 인간 자세 추정

인간 자세 추정(Human Pose Estimation, HPE)은 이미지나 비디오에서 인간 관절의 3차원 위치를 검색하는 것을 목표로 합니다. 우리는 현재의 3D HPE 방법들이 시점 등가성(viewpoint equivariance) 부족 문제를 겪고 있다는 점을 보여주는데, 즉 이러한 방법들은 훈련 시에 보지 못한 시점을 처리할 때 실패하거나 성능이 저하되는 경향이 있습니다. 딥러닝 방법들은 종종 스케일 불변(scale-invariant), 이동 불변(translation-invariant), 또는 회전 불변(rotation-invariant) 연산, 예를 들어 맥스-풀링(max-pooling)을 사용하지만, 이러한 절차의 채택이 반드시 시점 일반화(viewpoint generalization)를 개선하지는 않습니다. 오히려 이는 더 데이터 의존적인 방법으로 이끌어냅니다. 이러한 문제를 해결하기 위해, 우리는 새로운 캡슐 오토인코더 네트워크와 빠른 변분 베이즈 캡슐 라우팅(Variational Bayes capsule routing) 알고리즘을 결합한 DECA라는 모델을 제안합니다. 각 관절을 캡슐 엔티티로 모델링하고 라우팅 알고리즘을 결합함으로써, 우리의 접근 방식은 시점과 무관하게 특징 공간에서 관절들의 계층적 및 기하학적 구조를 유지할 수 있습니다. 시점 등가성을 달성함으로써, 우리는 훈련 시에 네트워크의 데이터 의존성을 크게 줄일 수 있으며, 이는 보지 못한 시점에 대한 일반화 능력의 향상으로 이어집니다. 실험 검증 결과, DECA는 보지 못한 시점에서도 깊이 이미지에서 다른 방법들을 능가하며, 상위시점(top-view)과 전면시점(front-view) 모두에서 우수한 성능을 보였습니다. RGB 영역에서는 도전적인 시점 전환(viewpoint transfer) 작업에서 최신 연구 결과(state-of-the-art results)를 달성하였으며, 상위시점 HPE에 대한 새로운 프레임워크도 제시하였습니다. 코드는 https://github.com/mmlab-cv/DECA에서 확인할 수 있습니다.