2달 전

야외에서 정확한 3D 인간 자세 및 형태 추정을 위한 합성 훈련

Sengupta, Akash ; Budvytis, Ignas ; Cipolla, Roberto
야외에서 정확한 3D 인간 자세 및 형태 추정을 위한 합성 훈련
초록

본 논문은 단일 카메라(RGB 이미지)에서 3D 인간 형태와 자세를 추정하는 문제를 다룹니다. 이 분야에서 자세 예측 정확도 측면에서 큰 발전이 이루어졌음에도 불구하고, 최신 방법들은 종종 부정확한 신체 형태를 예측합니다. 우리는 이 문제가 주로 다양한이고 정확한 신체 형태 라벨을 가진 야외 훈련 데이터의 부족 때문이라고 제안합니다. 따라서, 우리는 STRAPS (Synthetic Training for Real Accurate Pose and Shape)라는 시스템을 제안합니다. 이 시스템은 실루엣과 2D 관절 등의 대리 표현(proxy representation)을 입력으로 사용하여, 신체 형태와 자세 회귀 신경망을 학습시키며, 이를 통해 데이터 부족 문제를 해결하기 위해 합성 훈련 데이터(SMPL 통계적 신체 모델을 사용하여 훈련 중에 실시간으로 생성)를 활용합니다.우리는 훈련 시 데이터 증강과 오염(corruption)을 사용하여 합성 훈련 입력과 테스트 시에 키포인트 검출 및 세그멘테이션 CNNs에 의해 예측된 노이즈가 포함된 실제 입력 간의 차이를 줄입니다. 우리의 접근 방식을 평가하기 위해, 우리는 단일 카메라 인간 형태 추정을 위한 도전적인 평가 데이터셋인 스포츠 형태와 자세 3D (Sports Shape and Pose 3D, SSP-3D)를 구성하고 제공합니다. 이 데이터셋은 다양한 신체 형태를 가진 긴밀하게 옷을 입은 스포츠 선수들의 RGB 이미지와 다중 프레임 최적화를 통해 얻은 해당 SMPL 형태와 자세 매개변수로 구성되어 있습니다.실험 결과, STRAPS는 SSP-3D에서 다른 최신 방법들보다 형태 예측 정확도 측면에서 우수한 성능을 보였으며, 자세 중심 데이터셋과 지표에서는 여전히 최신 연구들과 경쟁력을 유지하였습니다.

야외에서 정확한 3D 인간 자세 및 형태 추정을 위한 합성 훈련 | 최신 연구 논문 | HyperAI초신경