MMPTRACK: 대규모 밀집 주석 다중 카메라 다중 사람 추적 벤치마크

다중 카메라 추적 시스템은 무접촉 결제와 같은 고품질 추적 결과가 요구되는 응용 분야에서 인기를 얻고 있습니다. 이는 단일 카메라 다물체 추적(Multi-Object Tracking, MOT) 시스템이 혼잡하고 인파가 많은 환경에서 가림(Occlusion)으로 인해 종종 실패하기 때문입니다. 여러 개의 높게 겹쳐진 카메라는 부분적인 3D 정보를 복원하여 이 문제를 크게 완화할 수 있습니다. 그러나 다양한 카메라 설정과 배경을 갖춘 고품질 다중 카메라 추적 데이터셋을 만드는 비용이 이 분야에서 데이터셋의 규모를 제한해 왔습니다.본 논문에서는 자동 주석 시스템의 도움으로 다섯 가지 다른 환경에서 대규모로 밀도 있게 라벨링된 다중 카메라 추적 데이터셋을 제공합니다. 해당 시스템은 겹치고 보정된 깊이(Depth) 및 RGB 카메라를 사용하여 3D 추적 결과를 자동으로 생성하는 고성능 3D 추적기를 구축합니다. 3D 추적 결과는 카메라 파라미터를 사용하여 각 RGB 카메라 뷰에 투영되어 2D 추적 결과를 생성합니다. 그런 다음, 우리는 3D 추적 결과를 수작업으로 확인하고 수정하여 라벨의 품질을 보장하며, 이는 완전히 수작업으로 주석을 달는 것보다 훨씬 저렴합니다.우리는 두 가지 실시간 다중 카메라 추적기와 다양한 설정을 가진 사람 재식별(Person Re-Identification, ReID) 모델을 사용하여 광범위한 실험을 수행했습니다. 이 데이터셋은 혼잡하고 인파가 많은 환경에서의 다중 카메라, 다물체 추적 시스템에 대한 더 신뢰할 수 있는 벤치마크를 제공합니다. 또한, 우리의 결과는 이러한 데이터셋에서 추적기와 ReID 모델을 적응시키면 그 성능이 크게 향상됨을 입증합니다. 본 연구가 받아들여지면 우리의 데이터셋은 공개될 예정입니다.