야외에서 정확한 다중 인물 자세 추정을 향하여

우리는 COCO 키포인트 작업에서 최고의 성능을 달성하는 다중 인물 검출 및 2차원 자세 추정 방법을 제안합니다. 이 방법은 간단하면서도 강력한 상위-하위(top-down) 접근 방식으로 두 단계로 구성됩니다.첫 번째 단계에서는 사람이 포함될 가능성이 높은 박스의 위치와 크기를 예측합니다. 이를 위해 Faster R-CNN 검출기를 사용합니다. 두 번째 단계에서는 각 제안된 바운딩 박스에 잠재적으로 포함된 사람의 키포인트를 추정합니다. 각 키포인트 유형에 대해 완전히 합성곱 ResNet을 사용하여 밀집된 히트맵과 오프셋을 예측합니다. 이러한 출력들을 결합하기 위해 우리는 높은 정밀도의 키포인트 예측을 얻기 위한 새로운 집계 절차를 도입하였습니다. 또한, 더 거친 박스 수준의 NMS 대신 키포인트 기반의 새로운 형태의 비최대 억제(NMS)와, 박스 수준의 점수화 대신 키포인트 기반의 새로운 형태의 신뢰도 점수 추정 방법을 사용하였습니다.COCO 데이터만으로 학습된 우리의 최종 시스템은 COCO test-dev 세트에서 평균 정밀도 0.649, test-standard 세트에서 0.643를 달성하여 2016년 COCO 키포인트 챌린지 우승자와 다른 최근 최고 성능 방법들을 능가하였습니다. 더욱이, 추가적인 내부 라벨링 데이터를 사용함으로써 test-dev 세트에서 0.685, test-standard 세트에서 0.673의 더 높은 평균 정밀도를 얻었으며, 같은 데이터셋에서 이전 가장 우수한 방법보다 5% 이상 절대적으로 개선되었습니다.