군중에서의 자세 추정 재고: 감지 정보 병목 현상과 모호성 극복

개인 간의 빈번한 상호작용은 자세 추정 알고리즘에 대한 근본적인 도전 과제입니다. 현재의 파이프라인은 객체 검출기와 자세 추정기를 함께 사용하여(상향식 접근법) 또는 먼저 모든 신체 부위를 위치 결정한 후 이를 연결하여 개인의 자세를 예측하는 방법(하향식 접근법)을 채택하고 있습니다. 그러나 개인들이 밀접하게 상호작용할 때, 상향식 방법은 겹치는 개인들로 인해 정의가 모호해지고, 하향식 방법은 종종 먼 신체 부위와 잘못된 연결을 추론합니다. 따라서, 우리는 하향식과 상향식 방법의 장점을 결합한 새로운 파이프라인인 하향식 조건부 상향식 자세 추정(BUCTD, Bottom-Up Conditioned Top-Down Pose Estimation)을 제안합니다. 구체적으로, 우리는 하향식 모델을 검출기로 사용하여, 추정된 경계 상자 외에도 자세 제안을 제공하며, 이는 주목 기반 상향식 모델에 조건으로 입력됩니다. 우리는 동물과 인간의 자세 추정 벤치마크에서 우리의 접근법의 성능과 효율성을 입증하였습니다. CrowdPose와 OCHuman에서 우리는 이전 최신 모델보다 크게 우수한 성능을 보였습니다. CrowdPose에서는 78.5 AP(AP: Average Precision)를, OCHuman에서는 48.5 AP를 달성하였으며, 각각 이전 연구 대비 8.6%와 7.8% 개선되었습니다. 또한, 우리가 제안한 방법이 물고기와 원숭이 등 다중 동물 벤치마크에서 성능을 크게 향상시킨다는 것을 보여주었습니다. 코드는 https://github.com/amathislab/BUCTD에서 확인할 수 있습니다.