NIKI: 3D 인간 포즈 및 형상 추정을 위한 역運動학과 가역 신경망을 활용한 신경 역운동학

3D 인간 자세 및 형태 추정의 발전에 따라 최신 방법들은 가림 현상에 견고하거나, 가림이 없는 경우 픽셀 정렬 정확도를 얻을 수 있습니다. 그러나 이들 방법은 동시에 견고성과 메시-이미지 정렬을 달성할 수 없습니다. 본 연구에서는 NIKI (Neural Inverse Kinematics with Invertible Neural Network)를 제안합니다. NIKI는 양방향 오류를 모델링하여 가림 현상에 대한 견고성을 향상시키고 픽셀 정렬 정확도를 얻는데 초점을 맞추고 있습니다. NIKI는 역행 네트워크를 사용하여 순방향 과정과 역방향 과정 모두에서 학습할 수 있습니다.역방향 과정에서는 모델이 가능한 3D 자세 다양체(manifold)에서 오류를 분리하여 견고한 3D 인간 자세 추정을 수행합니다. 순방향 과정에서는 신뢰할 수 있는 관절 위치에 대한 감도를 높여 더 나은 메시-이미지 정렬을 위해 제로 오류 경계 조건(zero-error boundary conditions)을 강제 적용합니다. 또한, NIKI는 비틀기-스윙 분해(twist-and-swing decomposition)를 통해 해석적 역運動학 알고리즘들을 모사하여 해석 가능성을 개선합니다.표준 벤치마크와 가림 현상 특화 벤치마크에서 수행된 실험들은 NIKI의 효과성을 입증하며, 우리는 동시에 견고하고 잘 정렬된 결과를 보여주었습니다. 코드는 https://github.com/Jeff-sjtu/NIKI 에서 확인할 수 있습니다.