초록
다중 시점 3D 인간 자세 추정을 위한 두 가지 새로운 해결책을 제시합니다. 이 해결책은 여러 2D 시점에서 얻은 3D 정보를 결합하는 새로운 학습 가능한 삼각 측량 방법을 기반으로 합니다. 첫 번째 (기준선) 해결책은 입력 이미지에서 추정된 신뢰도 가중치를 추가한 기본적인 미분 가능한 대수적 삼각 측량입니다. 두 번째 해결책은 중간 2D 백본 특징 맵에서 볼륨을 집계하는 새로운 방법을 기반으로 합니다. 집계된 볼륨은 3D 컨벌루션을 통해 정교화되어 최종 3D 관절 히트맵을 생성하고 인간 자세 사전 모델링을 가능하게 합니다. 중요한 점은 두 접근 방식 모두 끝까지 미분 가능하다는 것입니다. 이는 목표 메트릭에 대해 직접 최적화할 수 있게 해줍니다. 우리는 이 해결책들이 데이터셋 간에 전이될 수 있음을 보여주며, Human3.6M 데이터셋에서 다중 시점의 기존 연구 결과를 크게 개선했습니다. 비디오 시연, 주석 및 추가 자료는 프로젝트 페이지(https://saic-violet.github.io/learnable-triangulation)에 게시될 예정입니다.