학습을 통한 인간 자세 추정 정교화

이미지와 비디오에서 다중 인물 자세 추정은 많은 응용 분야를 가진 중요한 과제이지만 여전히 어려움을 동반합니다. 합성곱 신경망의 발전으로 인해 인간 자세 추정에 큰 개선이 이루어졌음에도 불구하고, 최신 모델조차도 모든 체절을 정확하게 위치시키지 못하는 많은 어려운 사례가 존재합니다. 이는 이러한 도전적인 사례들을 해결하고 기존 방법 위에 쉽게 적용할 수 있는 추가적인 정교화 단계의 필요성을 제기합니다. 본 연구에서는 입력으로 이미지와 주어진 자세 추정 값을 받아서, 입력-출력 공간을 공동으로 고려하여 직접 정교화된 자세를 예측하도록 학습하는 자세 정교화 네트워크(PoseRefiner)를 소개합니다. 네트워크가 잘못된 체절 예측을 정교화하도록 학습할 수 있도록, 우리는 "어려운" 인간 자세 사례를 모델링하는 새로운 데이터 증강 방식을 사용하여 훈련했습니다. 우리는 MPII 단일 및 다중 인물 자세 추정, PoseTrack 자세 추정, 그리고 PoseTrack 자세 추적과 같은 네 가지 대규모 자세 추정 벤치마크에서 접근법을 평가하였으며, 최신 기술보다 체계적으로 개선되는 결과를 보고하였습니다.