초록
시간적 시퀀스 내에서 3D 인간 신체 자세 및 형태 추정은 인간 행동을 이해하는 데 있어 매우 중요한 과제이다. 최근 몇 년간 단일 이미지나 영상 기반의 인간 자세 추정 분야에서 큰 진전이 있었지만, 실시간 출력과 시간적 일관성이라는 특수한 요구 사항을 고려할 때, 라이브 스트림 영상에서의 인간 운동 추정은 여전히 다뤄지지 않은 미개척 분야이다. 이 문제를 해결하기 위해, 라이브 스트림 영상에서 자세 추정의 정확도와 시간적 일관성을 향상시키기 위한 시간적 임베딩 기반의 3D 인간 신체 자세 및 형태 추정 방법(TePose)을 제안한다. TePose는 이전 프레임의 추정 결과를 다리로 삼아 현재 프레임의 추정을 개선하고, 과거 데이터 프레임과 추정 결과 간의 대응 관계를 학습한다. 또한, 3D 레이블이 없는 데이터셋을 사용하여 적대적 학습을 수행하기 위해 다중 해상도 공간-시간 그래프 컨볼루션 네트워크를 제안한다. 라이브 스트림의 시작부터 끝까지의 데이터 처리 요구 사항을 충족시키기 위해 순차적 데이터 로딩 전략을 제안한다. 광범위한 실험을 통해 각 제안된 모듈의 중요성을 입증하였으며, 다양한 기준 평가 데이터셋에서 기존 최고 수준의 성능을 달성함으로써 TePose의 효과성을 입증하였다.