2달 전
온라인에서 효율적인 다중 인물 2D 포즈 추적을 위한 순환 공간-시간 친화 필드
Yaadhav Raaj; Haroon Idrees; Gines Hidalgo; Yaser Sheikh

초록
우리는 비디오 시퀀스에서 여러 사람의 2D 자세를 효율적이고 동시에 감지하고 추적하기 위한 온라인 접근 방식을 제시합니다. 우리는 정적 이미지를 위해 설계된 파트 친화 필드(Part Affinity Field, PAF) 표현을 기반으로 하며, 비디오 시퀀스 전반에 걸쳐 공간-시간 친화 필드(Spatio-Temporal Affinity Fields, STAF)를 인코딩하고 예측할 수 있는 아키텍처를 제안합니다. 특히, 다양한 크기의 신체 운동을 일관되게 처리할 수 있는 새로운 시간적 토폴로ジー가 관절 간에 교차 연결되어 있다는 점을 강조합니다. 또한, 전체 접근 방식을 순환적인 특성을 가지도록 설계하여 네트워크가 이전 프레임의 STAF 히트맵을 입력받아 현재 프레임의 히트맵을 추정할 수 있습니다. 우리의 접근 방식은 오직 온라인 추론과 추적만 사용하며, 장면 내 사람의 수와 카메라 입력 프레임 속도에 상관없이 실행 시간과 정확도가 불변하는 최하단 접근 방식 중 가장 빠르고 정확한 방법입니다. 단일 GPU에서 단일 스케일로 약 30 fps로 실행될 때, PoseTrack 벤치마크에서 매우 경쟁력 있는 결과를 달성합니다.