crowds에서 드론과 결합된 탐지, 추적, 카운팅: 벤치마크

드론 촬영 영상에서 객체 탐지, 추적 및 카운팅 알고리즘의 발전을 촉진하기 위해, 다양한 시나리오에서 촬영된 112개의 영상 클립과 총 33,600개의 HD 프레임을 포함하는 새로운 드론 촬영 대규모 데이터셋인 DroneCrowd를 구축하였다. 특히, 20,800개의 사람 트래잭터리, 약 480만 개의 머리 부분 레이블 및 여러 영상 수준의 속성 정보를 레이블링하였다. 동시에 밀집된 인구 집단에서 객체 탐지, 추적, 카운팅을 통합적으로 해결할 수 있는 강력한 베이스라인으로서 공간-시간 이웃 인지 네트워크(Space-Time Neighbor-Aware Network, STNNet)를 설계하였다. STNNet은 특징 추출 모듈, 밀도 맵 추정 헤드, 그리고 위치 추정 및 객체 연관(subnet) 모듈로 구성된다. 이웃 객체들의 맥락 정보를 효과적으로 활용하기 위해, 이웃 객체 간의 상대적 위치가 시간 축에서 일관되게 유지되도록 유도하는 이웃 맥락 손실(neighbor context loss)을 제안하였으며, 이는 추적 및 연관 성능을 향상시키는 데 기여한다. 제안한 DroneCrowd 데이터셋을 기반으로 수행한 광범위한 실험 결과, STNNet이 기존 최고 성능 알고리즘들과 비교하여 우수한 성능을 보임을 확인하였다.