3D 인간 자세 추정을 위한 자기 감독의 한 형태로서의 삼각측량에 관한 연구

단일 이미지에서 3차원 자세 추정을 위한 지도 학습 접근법은 라벨링된 데이터가 충분할 때 매우 효과적입니다. 그러나 실제 3차원 라벨의 획득이 노동 집약적이며 시간이 많이 소요되기 때문에, 최근 연구는 반지도 및 약간 지도 학습으로 초점을 옮기고 있습니다. 여전히 주석이 적은 혼잡한 장면에서 효과적인 감독 형태를 생성하는 것은 큰 도전 과제입니다. 본 논문에서는 가중치를 적용한 미분 가능한 삼각측량(weighted differentiable triangulation)을 통해 다중 시점 기하학적 제약 조건을 부과하고, 라벨이 없는 경우 이를 자기 감독 형태로 사용하는 방법을 제안합니다. 따라서 2차원 자세 추정기를 다음과 같이 훈련시킵니다: 그 예측값이 삼각측량된 3차원 자세의 재투영(re-projection)에 해당하도록 하며, 이 예측값들을 이용하여 최종 3차원 자세를 생성하기 위한 보조 네트워크(auxiliary network)를 훈련시킵니다. 또한, 자기 가림(self-occlusion)이나 다른 피사체로부터의 가림(occlusion from other subjects)으로 인해 발생하는 잡음 예측(noisy predictions)의 영향을 완화하기 위해 삼각측량에 가중치 메커니즘(weighting mechanism)을 추가합니다. 우리는 Human3.6M 및 MPI-INF-3DHP 데이터셋에서 우리의 반지도 학습 접근법의 효과성을 입증하였으며, 가림 현상을 포함하는 새로운 다중 시점 다인물 데이터셋에서도 이를 검증하였습니다.