2달 전

시퀀스 흐름 맵을 이용한 포즈 추정기 및 추적기

Jihye Hwang; Jieun Lee; Sungheon Park; Nojun Kwak
시퀀스 흐름 맵을 이용한 포즈 추정기 및 추적기
초록

비디오에서 인간 자세 추정을 위해 프레임 간의 시간 정보를 어떻게 활용하는지가 중요합니다. 본 논문에서는 지체의 시간 흐름 맵(TML, Temporal Flow Maps for Limbs)과 인간 자세를 추정 및 추적하기 위한 다중 스트라이드 방법을 제안합니다. 제안된 시간 흐름 맵은 지체의 움직임을 설명하는 단위 벡터입니다. 우리는 공간 정보와 시간 정보를 엔드투엔드로 학습할 수 있는 네트워크를 구축했습니다. 공간 정보인 관절 히트맵과 부분 친화력 필드는 공간 네트워크 부분에서 회귀되고, TML은 시간 네트워크 부분에서 회귀됩니다. 또한 다양한 유형의 TML을 더 잘 학습하기 위한 데이터 증강 방법도 제안합니다. 제안된 다중 스트라이드 방법은 정해진 범위 내에서 두 개의 프레임을 무작위로 선택하여 데이터를 확장합니다. 우리는 제안된 방법이 PoseTrack 2017 및 2018 데이터셋에서 효율적으로 인간 자세를 추정하고 추적함을 보여줍니다.

시퀀스 흐름 맵을 이용한 포즈 추정기 및 추적기 | 최신 연구 논문 | HyperAI초신경