PARE: 3D 인간 몸체 추정을 위한 부분 주의 회귀모델

상당한 진전이 이루어졌음에도 불구하고, 우리는 최신의 3D 인간 자세 및 형태 추정 방법들이 부분 가림에 여전히 민감하며, 몸의 대부분이 관찰 가능함에도 불구하고 극단적으로 잘못된 예측을 생성할 수 있음을 보여줍니다. 이를 해결하기 위해, 우리는 신체 부위를 안내하는 주의 마스크를 학습하여 예측하는 소프트 주의 메커니즘인 파트 어텐션 리그레서(PARE)를 소개합니다. 우리는 최신 방법들이 전역 특징 표현에 의존함으로써 작은 가림에도 민감하다는 점을 관찰하였습니다. 반면에, PARE의 신체 부위 안내 주의 메커니즘은 개별 신체 부위의 가시성 정보를 활용하면서, 이웃한 신체 부위에서 정보를 활용하여 가려진 부분을 예측함으로써 이러한 문제들을 극복합니다. 질적 분석을 통해 PARE가 합리적인 주의 마스크를 학습한다는 것을 확인하였으며, 양적 평가는 PARE가 기존 접근법들보다 가림에 특화된 벤치마크와 표준 벤치마크 모두에서 더 정확하고 견고한 재구성 결과를 달성한다는 것을 입증하였습니다. 연구 목적으로 코드와 데이터는 \url{https://pare.is.tue.mpg.de/}에서 제공됩니다.