다수 인물의 자세 추정을 위한 미세한 국소 표현 학습

본 논문에서는 새로운 방법으로 Residual Steps Network(RSN)을 제안한다. RSN은 동일한 공간 크기를 가진 특징(Intra-level features)을 효율적으로 통합하여 풍부한 저수준 공간 정보를 유지하면서 정교한 국소적 표현을 얻는다. 이는 정확한 키포인트 위치 추정에 기여한다. 또한, 출력 특징이 최종 성능에 서로 다른 기여를 한다는 점을 관찰하였다. 이를 해결하기 위해, 출력 특징 내 국소적 표현과 전역적 표현 사이의 균형을 조절하고 키포인트 위치를 추가로 정교화하기 위한 효율적인 주의 메커니즘인 Pose Refine Machine(PRM)을 제안한다. 본 방법은 COCO Keypoint Challenge 2019에서 1위를 차지하였으며, 추가 학습 데이터나 사전 학습 모델 없이도 COCO 및 MPII 벤치마크에서 최신 기술 수준의 성능을 달성하였다. 단일 모델은 COCO test-dev에서 78.6, MPII test 데이터셋에서 93.0의 성능을 기록하였으며, 앙상블 모델은 COCO test-dev에서 79.2, COCO test-challenge 데이터셋에서 77.1의 성능을 달성하였다. 소스 코드는 후속 연구를 위해 공개되어 있으며, https://github.com/caiyuanhao1998/RSN/ 에서 확인할 수 있다.