GFPose: Gradient Fields를 이용한 3D 인간 자세 사전 학습

3D 인간 자세 학습은 인간 중심 AI에 있어 필수적입니다. 본 연구에서는 다양한 응용 분야에서 가능한 3D 인간 자세를 모델링하기 위한 다목적 프레임워크인 GFPose를 제시합니다. GFPose의 핵심은 시간 종속 점수 네트워크로, 이는 각 신체 관절에서 기울기를 추정하고 주어진 작업 사양에 맞게 노이즈가 섞인 3D 인간 자세를 점진적으로 제거합니다. 노이즈 제거 과정에서 GFPose는 기울기 내에 자세 사전 정보를 암시적으로 통합하여 다양한 판별적 및 생성적 작업을 우아한 프레임워크로 일원화합니다. 단순함에도 불구하고, GFPose는 여러 하류 작업에서 큰 잠재력을 보여줍니다. 우리의 실험은 다음과 같이 경험적으로 입증되었습니다: 1) 다중 가설 자세 추정기로서, GFPose는 Human3.6M 데이터셋에서 기존 최고 수준의 방법(SOTA)보다 20% 뛰어난 성능을 보였습니다. 2) 단일 가설 자세 추정기로서, GFPose는 일반적인 백본을 사용하더라도 결정론적인 SOTA와 유사한 결과를 달성했습니다. 3) GFPose는 자세 노이즈 제거, 완성 및 생성 작업에서 다양하고 실제적인 샘플을 생성할 수 있습니다. 프로젝트 페이지: https://sites.google.com/view/gfpose/