초록
다중 카메라 시점에서 다중 인체 3차원 자세 추정을 위한 기존 방법들은, 여러 카메라 시점에서 얻은 2차원 자세 검출 결과를 서로 연결하는 교차 시점 대응 관계를 명시적으로 설정하고, 각 인체에 대해 3차원 자세 추정을 수행한다. 그러나 다중 인체 장면에서는 교차 시점 대응 관계를 설정하는 것이 매우 어렵고, 잘못된 대응 관계는 다단계 파이프라인의 성능을 저하시키는 원인이 된다. 본 연구에서는 평면 스위프 스테레오(Plane Sweep Stereo) 기반의 다중 시점 3차원 자세 추정 방법을 제안하며, 단일 스텝 내에서 교차 시점 융합과 3차원 자세 재구성 문제를 동시에 해결한다. 구체적으로, 목표 카메라 시점의 각 2차원 자세에 대해 각 관절별 깊이 회귀를 수행한다. 여러 참조 카메라 시점들을 통해 평면 스위프 알고리즘을 활용하여 교차 시점 일관성 제약을 암묵적으로 강제함으로써 정확한 깊이 회귀를 촉진한다. 본 연구는 먼저 사람 단위의 깊이를 추정하는 거친 단계를 거친 후, 각 사람별 관절 단위의 상대 깊이를 세밀하게 추정하는 계층적(coarse-to-fine) 전략을 도입한다. 추정된 깊이 값들을 바탕으로 단순한 역투영(back-projection)을 수행하여 3차원 자세를 얻는다. 제안한 방법은 기준 데이터셋에서 평가되었으며, 기존 최고 성능 기법들을 능가하면서도 매우 효율적인 성능을 보였다. 본 연구의 코드는 https://github.com/jiahaoLjh/PlaneSweepPose 에서 공개되어 있다.