DeciWatch: 2D 및 3D 포즈 추정을 위한 간단한 기준선

본 논문은 기존 연구들보다 성능 저하 없이 10배의 효율성을 개선할 수 있는 비디오 기반 2D/3D 인간 자세 추정을 위한 간단한 베이스라인 프레임워크를 제안하며, 이를 DeciWatch라고 명명하였습니다. 현재의 솔루션들은 비디오의 각 프레임을 추정하는 반면, DeciWatch는 인간 운동의 연속성과 가벼운 자세 표현을 활용하여 희소하게 샘플링된 프레임만 관찰하는 간단하면서도 효과적인 샘플-노이즈 제거-복원 프레임워크를 도입합니다. 구체적으로, DeciWatch는 전체 비디오 프레임의 10% 미만을 균일하게 샘플링하여 상세 추정을 수행하고, 효율적인 트랜스포머 아키텍처를 사용하여 추정된 2D/3D 자세에서 노이즈를 제거한 후, 다른 트랜스포머 기반 네트워크를 통해 나머지 프레임들을 정확히 복원합니다. 세 가지 비디오 기반 인간 자세 추정 및 신체 메시 복원 작업에 대한 네 개의 데이터셋을 사용한 포괄적인 실험 결과가 DeciWatch의 효율성과 효과성을 검증하였습니다. 코드는 https://github.com/cure-lab/DeciWatch에서 제공됩니다.