2달 전

3D 인간 포즈 머신의 자기 감독 학습

Keze Wang; Liang Lin; Chenhan Jiang; Chen Qian; Pengxu Wei
3D 인간 포즈 머신의 자기 감독 학습
초록

최근의 컴퓨터 비전 및 로봇 기술 응용에 의해, 3D 인간 자세 복원은 점점 더 중요해졌으며 많은 관심을 받고 있습니다. 실제로 이 작업은 단일 시점 이미지에서 다양하게 나타나는 외관, 시점, 가림 현상 및 본질적으로 기하학적 모호성 때문에 매우 어려운 문제입니다. 기존의 대부분 방법들은 해당 2D 인간 자세 인식 특징이나 2D 자세 예측을 바탕으로 3D 인간 자세를 직접 회귀하기 위해 정교한 사전 정보/제약 조건을 설계하는 데 초점을 맞추고 있습니다. 그러나 훈련용 3D 자세 데이터가 부족하고 2D 공간과 3D 공간 사이의 도메인 간극 때문에 이러한 방법들은 실용적인 모든 상황(예: 야외 장면)에서 제한된 확장성을 보입니다.이 문제를 해결하기 위해, 본 논문에서는 풍부한 이미지들로부터 인간 자세의 모든 내재 구조를 학습할 수 있는 간단하면서도 효과적인 자기 감독 교정 메커니즘을 제안합니다. 구체적으로, 제안된 메커니즘은 2D-3D 자세 변환과 3D-2D 자세 투영이라는 두 개의 쌍방향 학습 과제를 포함하여, "무료" 형태의 자기 감독 하에 3D와 2D 인간 자세 사이의 다리 역할을 수행하여 정확한 3D 인간 자세 추정을 가능하게 합니다. 2D-3D 자세 변환은 시퀀스 종속 시간적 맥락 하에서 포즈 표현을 2D 영역에서 3D 영역으로 변환하여 중간 3D 포즈를 순차적으로 회귀하는 것을 의미합니다. 반면에, 3D-2D 자세 투영은 3D 포즈의 2D 투영과 추정된 2D 포즈 간의 기하학적 일관성을 유지함으로써 중간 3D 포즈를 세밀히 수정하는 데 기여합니다. 우리는 또한 이 자기 감독 교정 메커니즘을 적용하여, 2D 공간 관계, 예측의 시간적 매끄러움 및 3D 기하학적 지식을 공동으로 통합하는 3D 인간 자세 추정 머신을 개발하였습니다.다양한 평가 결과는 우리의 프레임워크가 비교 대상인 경쟁 방법들보다 우수한 성능과 효율성을 보임을 입증하였습니다.