PONet: 오직 방향성 학습을 통한 강건한 3D 인간 자세 추정

기존의 3차원 인간 자세 추정 기법은 먼저 2차원 신체 키포인트를 탐지한 후, 이들 간의 2차원에서 3차원으로의 대응 관계를 해결하는 방식에 기반한다. 비록 희망적인 성과를 거두고 있으나, 이 학습 패러다임은 2차원 키포인트 탐지기의 품질에 매우 의존적이며, 이는 가림이나 이미지 외부로 벗어난 경우 등에서 필연적으로 취약해진다. 본 논문에서는 이미지 증거가 부족한 상황에서도 오직 방향성 정보만을 학습함으로써 3차원 자세를 안정적으로 추정할 수 있는 새로운 모델인 Pose Orientation Net(PONet)을 제안한다. 부분적으로 가려진 사지가 있는 이미지의 경우, PONet는 국부적인 이미지 증거를 활용하여 이러한 사지의 3차원 방향을 추정함으로써 3차원 자세를 복원한다. 더불어, 사지가 완전히 보이지 않는 이미지에서도, 보이는 사지들 간의 방향성 상관관계를 활용하여 전체 3차원 자세를 추론할 수 있어, 3차원 자세 추정의 안정성을 더욱 향상시킨다. 제안된 방법은 Human3.6M, MPII, MPI-INF-3DHP, 3DPW 등 다양한 데이터셋에서 평가되었으며, 이상적인 환경에서는 최첨단 기법과 비견되는 성능을 달성한다. 특히, 키포인트 탐지기 의존도와 그에 따른 계산 부담을 크게 줄였다는 점에서 의미가 크다. 특히 자르기(truncation) 및 삭제(erasing)와 같은 매우 도전적인 상황에서도 매우 강력한 성능을 보이며, 기존 최첨단 기법에 비해 훨씬 우수한 결과를 도출함으로써 실세계 적용 가능성의 잠재력을 입증하였다.