DiffMesh: 비디오에서 인간 메시 복원을 위한 운동 인지 확산 프레임워크

인간 메시 복원(Human mesh recovery, HMR)은 다양한 실세계 응용 분야에서 풍부한 인간 신체 정보를 제공한다. 이미지 기반 HMR 방법은 놀라운 성과를 달성하고 있으나, 인간의 움직임이 없는 동적 시나리오에서는 종종 인간을 정확히 복원하지 못하여 시간적 불일치와 부자연스러운 3D 운동 예측이 발생하는 문제가 있다. 반면, 영상 기반 접근법은 시간 정보를 활용함으로써 이 문제를 완화할 수 있다. 본 논문에서는 영상 기반 HMR를 위한 혁신적인 운동 인지(diffusion-like) 프레임워크인 DiffMesh를 제안한다. DiffMesh는 확산 모델과 인간 운동 간의 연결 고리를 구축하여, 확산 모델의 전진 과정과 역방향 과정에 인간 운동 정보를 통합함으로써 정확하고 부드러운 메시 시퀀스를 효율적으로 생성한다. 널리 사용되는 데이터셋(Human3.6M \cite{h36m_pami} 및 3DPW \cite{pw3d2018})에서 실시한 광범위한 실험을 통해 DiffMesh의 효과성과 효율성이 입증되었으며, 실세계 시나리오에서의 시각적 비교를 통해 실제 응용에 적합함이 더욱 강조되었다.