딥 듀얼 연속 네트워크를 이용한 인간 자세 추정

복잡한 상황에서의 다프레임 인간 자세 추정은 여전히 도전적인 과제이다. 최첨단 인간 관절 검출기들은 정적 이미지에서 뛰어난 성능을 보여주지만, 동영상 시퀀스에 이러한 모델을 적용할 경우 성능이 크게 저하된다. 주요한 한계로는 운동 왜곡(motion blur), 동영상 초점 왜곡(video defocus), 자세의 부분적 가림(pose occlusions)을 처리하지 못하는 점이 있으며, 이는 영상 프레임 간의 시계열적 종속성(temporal dependency)을 효과적으로 포착하지 못하기 때문이다. 반면, 전통적인 순환 신경망(recurrent neural networks)을 직접 적용하는 것은 공간적 맥락을 모델링하는 데 있어 실용적인 어려움을 초래하며, 특히 자세 가림 상황을 다룰 때 문제가 된다. 본 논문에서는 영상 프레임 간 풍부한 시계열 정보를 활용하여 관절 점(keypoint) 검출을 보다 효과적으로 지원하는 새로운 다프레임 인간 자세 추정 프레임워크를 제안한다. 제안하는 프레임워크는 세 가지 모듈형 구성 요소로 구성된다. 먼저, Pose Temporal Merger는 관절 점의 시공간적 맥락을 인코딩하여 효과적인 탐색 범위를 생성한다. 두 번째로, Pose Residual Fusion 모듈은 이중 방향(dual directions)에서 가중된 자세 잔차(pose residuals)를 계산한다. 이들 정보는 최종적으로 Pose Correction Network를 통해 효율적으로 자세 추정을 보정한다. 제안한 방법은 대규모 벤치마크 데이터셋인 PoseTrack2017 및 PoseTrack2018에서 진행된 다프레임 인체 자세 추정 챌린지에서 1위를 차지하였다. 코드는 공개하여 향후 연구에 기여할 수 있기를 기대한다.