MeTRAbs: 절대적인 3D 인간 포즈 추정을 위한 메트릭 스케일의 절사에 강한 히트맵

히트맵 표현은 수년 동안 인간 자세 추정 시스템의 기반이 되어왔으며, 이를 3D로 확장하는 연구는 최근에 많은 성과를 거두었습니다. 이에는 이미지 공간에 X축과 Y축이 대응하고, 피사체 주변의 미터 단위 깊이에 Z축이 대응하는 2.5D 볼루메트릭 히트맵이 포함됩니다. 미터 스케일 예측을 얻기 위해서는 2.5D 방법들이 스케일 모호성을 해결하기 위한 별도의 후처리 단계가 필요합니다. 또한, 이미지 경계 외부의 신체 관절을 정확히 위치할 수 없어 잘린 이미지에서 불완전한 추정치를 생성하게 됩니다. 이러한 제한 사항을 해결하기 위해, 우리는 모든 차원이 이미지 공간과 일치하지 않고 미터 3D 공간에서 정의된 메트릭 스케일 트렁케이션 강건성 (MeTRo) 볼루메트릭 히트맵을 제안합니다. 이 히트맵 차원의 재해석은 테스트 시간에 거리 정보나 뼈 길이와 같은 인체 측정 휴리스틱에 의존하지 않고 직접 완전한 미터 스케일 자세를 추정할 수 있게 합니다.우리 표현의 유용성을 더욱 입증하기 위해, 3D 미터 스케일 히트맵과 2D 이미지 공간 히트맵을 결합하여 절대 3D 자세를 추정하는 차별화 가능한 구조(MeTRAbs 아키텍처)를 제시합니다. 우리는 절대 자세 손실을 통해 감독하는 것이 정확한 루트 상대적 위치화가 아닌 위치화에 결정적으로 중요하다는 것을 발견했습니다. ResNet-50 백본을 사용하고 추가 학습 계층 없이 Human3.6M, MPI-INF-3DHP 및 MuPoTS-3D 데이터셋에서 최신 연구 결과를 달성했습니다. 우리의 코드는 앞으로의 연구를 촉진하기 위해 공개될 것입니다.