2달 전

반복 3D 자세 시퀀스 머신

Mude Lin; Liang Lin; Xiaodan Liang; Keze Wang; Hui Cheng
반복 3D 자세 시퀀스 머신
초록

단일 카메라 이미지 시퀀스에서 3D 인간 관절 포즈를 복원하는 것은 다양한 외관, 시점, 가림 현상 등으로 인해 매우 어려운 문제입니다. 또한 단일 이미지로부터 인간의 3D 포즈는 본질적으로 모호하기 때문에, 정확한 3D 포즈 시퀀스 예측을 위해 신체 관절 간의 풍부한 공간적 및 시간적 장거리 의존성을 활용하는 것이 중요합니다. 기존 접근 방식은 구조를 캡처하기 위해 일부 복잡한 사전 항목과 인간 신체 운동 제약 조건을 수동으로 설계하는 경우가 많지만, 이는 종종 모든 내재된 구조를 활용하지 못하고 모든 상황에 확장성이 부족합니다. 대신, 본 논문에서는 다단계 순차적인 정제 과정을 사용하여 이미지 종속 구조적 제약 조건과 시퀀스 종속 시간적 맥락을 자동으로 학습할 수 있는 반복 3D 포즈 시퀀스 머신(Recurrent 3D Pose Sequence Machine, RPSM)을 제시합니다. 각 단계에서 RPSM은 이전에 학습된 2D 포즈 표현과 3D 포즈를 바탕으로 3D 포즈 시퀀스를 예측하기 위한 세 가지 모듈로 구성됩니다: (i) 이미지 종속 포즈 표현을 추출하는 2D 포즈 모듈, (ii) 3D 포즈를 회귀하는 3D 포즈 반복 모듈, (iii) 모듈 (i)와 (ii) 사이의 연결 역할을 하며 2D 영역에서 3D 영역으로 표현 변환을 가능하게 하는 특성 적응 모듈입니다. 이러한 세 가지 모듈은 여러 반복 단계를 통해 예측된 포즈를 정제하는 순차적 예측 프레임워크로 결합됩니다. Human3.6M 데이터셋과 HumanEva-I 데이터셋에서 수행된 광범위한 평가는 우리의 RPSM이 모든 최신 기술보다 우수한 성능을 보임을 입증합니다.

반복 3D 자세 시퀀스 머신 | 최신 연구 논문 | HyperAI초신경