2달 전

MoCap 안내 데이터 증강을 이용한 야외 환경에서의 3D 자세 추정

Grégory Rogez; Cordelia Schmid
MoCap 안내 데이터 증강을 이용한 야외 환경에서의 3D 자세 추정
초록

본 논문은 야외 환경에서의 3차원 인간 자세 추정 문제를 다룹니다. 주요 과제 중 하나는 3차원 자세로 주석된 인간의 2차원 이미지가 부족한 것입니다. 이러한 데이터는 최신 컨볼루션 신경망(CNN) 구조를 훈련시키기 위해 필수적입니다. 이에 우리는 3차원 자세 주석이 있는 사진현실적인 합성 이미지를 대량으로 생성하는 해결책을 제안합니다. 우리는 실제 이미지 데이터셋(2차원 인간 자세 주석 포함)을 3차원 모션 캡처(MoCap) 데이터를 사용하여 인공적으로 확장하는 이미지 기반 합성 엔진을 소개합니다. 후보 3차원 자세가 주어지면, 우리 알고리즘은 각 관절에 대해 투영된 3차원 자세와 국소적으로 일치하는 2차원 자세를 가진 이미지를 선택합니다. 선택된 이미지는 운동학적 제약 조건 하에 국소 이미지 패치들을 연결하여 새로운 합성 이미지를 생성하기 위해 결합됩니다. 이렇게 생성된 이미지는 전체 몸통의 3차원 자세 추정을 위한 end-to-end CNN을 훈련시키는 데 사용됩니다. 우리는 훈련 데이터를 많은 수의 자세 클래스로 클러스터링하고, K-방식 분류 문제로 자세 추정을 다룹니다. 이러한 접근 방식은 오직 우리의 큰 훈련 세트와 같은 경우에만 가능합니다. 우리의 방법은 제어된 환경(Human3.6M)에서의 3차원 자세 추정에서 최신 연구보다 우수한 성능을 보이며, 야외 환경(LSP)에서의 이미지에서도 유망한 결과를 보여줍니다. 이는 인공 이미지를 통해 훈련된 CNN이 실제 이미지로 잘 일반화됨을 입증합니다.

MoCap 안내 데이터 증강을 이용한 야외 환경에서의 3D 자세 추정 | 최신 연구 논문 | HyperAI초신경