야생 환경에서의 3D 인간 자세 추정을 위한 적대적 학습

최근, 단일 카메라 이미지에서의 3차원 인간 자세 추정에 있어 강력한 딥 컨볼루셔널 신경망(DCNNs) 덕분에 놀라운 발전이 이루어졌습니다. 그러나 제약된 실험실 환경에서 수집된 대규모 데이터셋에서는 성공적이었지만, 야외 환경에서의 이미지에 대한 3차원 자세 주석을 얻는 것은 여전히 어려워서, 야외 환경에서의 3차원 인간 자세 추정은 아직도 도전과제입니다. 본 논문에서는 완전히 주석이 달린 데이터셋에서 학습된 3차원 인간 자세 구조를 오직 2차원 자세 주석만 있는 야외 이미지로 전달하는 적대적 학습 프레임워크를 제안합니다. 자세 추정 결과를 제약하기 위해 하드 코딩 규칙을 정의하는 대신, 예측된 3차원 자세와 실제 값 사이를 구별할 수 있는 새로운 다중 출처 판별기를 설계하였습니다. 이는 야외 이미지에서도 인체 공학적으로 유효한 자세를 생성하도록 추정기에게 강제하는 데 도움이 됩니다. 또한 우리는 판별기의 성능 향상을 위해 신중하게 설계된 정보 출처가 필수적이라는 것을 발견하였습니다. 따라서, 신체 관절 간의 상대 위치와 거리를 계산하는 기하학적 설명자를 설계하여 판별기의 새로운 정보 출처로 활용하였습니다. 광범위한 공개 벤치마크에서 수행된 다양한 실험을 통해 우리의 적대적 학습 프레임워크와 새로운 기하학적 설명자의 효과성이 입증되었습니다. 우리의 접근 방식은 이전 최고 수준의 방법론들보다 성능을 크게 향상시켰습니다.