OpenPifPaf: 의미 키포인트 검출 및 시공간 연관성 위한 복합 필드

많은 이미지 기반 인식 작업은 의미적 키포인트를 감지, 연결 및 추적하는 문제로 표현될 수 있습니다. 예를 들어, 인간의 자세 추정 및 추적 등이 있습니다. 본 연구에서는 단일 단계에서 의미적 키포인트의 공간-시간 연결을 동시에 감지하고 형성하는 일반적인 프레임워크를 제시합니다. 이를 통해 이 알고리즘이 최초의 실시간 자세 감지 및 추적 알고리즘으로 구현되었습니다. 우리는 Composite Fields(복합 필드)를 사용하여 다중 프레임에서 의미적 키포인트(예: 사람의 관절)를 감지하고 단일 연결 그래프 형태의 공간-시간 자세를 구성하는 일반적인 신경망 아키텍처를 제시합니다. 시간적 연결에 대해서는 이전 Composite Fields보다 확장된 네트워크 아키텍처와 학습 방법이 필요한 Temporal Composite Association Field (TCAF, 시간 복합 연관 필드)를 소개합니다. 우리의 실험 결과는 COCO, CrowdPose, PoseTrack 2017 및 2018 데이터셋과 같은 여러 공개 데이터셋에서 경쟁력 있는 정확도를 보여주며, 이 알고리즘이 이전 방법보다 한 차원 빠르다는 것을 입증합니다. 또한, 우리의 방법이 차량이나 동물 부분과 같은 다른 유형의 의미적 키포인트에도 일반화되어 자율 주행차나 배달 로봇과 같은 도시 모빌리티에 적합한 종합적인 인식 프레임워크를 제공할 수 있음을 보여줍니다.