단일 이미지에서 3D 인간 자세 추정을 위한 이원적 접근 방식

본 연구에서는 단일 이미지에서 3차원 인간 자세를 추정하는 어려운 문제에 대해 다루고 있습니다. 최근의 접근 방식은 깊은 신경망을 학습하여 이미지에서 직접 3차원 자세를 회귀합니다. 그러나 이러한 방법의 주요 과제 중 하나는 훈련 데이터의 수집입니다. 특히, 정확한 3차원 자세로 주석이 달린 제약 없는 대량의 훈련 이미지를 수집하는 것은 현실적으로 불가능합니다. 따라서 우리는 두 개의 독립적인 훈련 출처를 사용하기로 제안합니다. 첫 번째 출처는 정확한 3차원 모션 캡처 데이터로 구성되며, 두 번째 출처는 2차원 자세로 주석이 달린 제약 없는 이미지로 구성됩니다. 두 출처를 통합하기 위해, 우리는 2차원 자세 추정과 효율적인 3차원 자세 검색을 결합하는 이중 출처 접근 방식을 제안합니다. 이를 위해 먼저 모션 캡처 데이터를 표준화된 2차원 자세 공간으로 변환하고, 별도로 이미지 데이터에서 2차원 자세 추정 모델을 학습시킵니다. 추론 시에는 2차원 자세를 추정하고 가장 가까운 3차원 자세를 효율적으로 검색합니다. 그 다음, 우리는 이미지와 3차원 자세 공간 간의 매핑을 공동으로 추정하여 3차원 자세를 재구성합니다. 본 연구에서는 제안된 방법에 대한 종합적인 평가를 제공하며, 실험적으로 두 출처의 뼈 구조가 크게 다르더라도 우리의 접근 방식이 효과적임을 입증하였습니다.