11일 전

실시간 3D 딥 멀티카메라 추적

Quanzeng You, Hao Jiang
실시간 3D 딥 멀티카메라 추적
초록

다수의 RGB 카메라를 이용한 3차원(3D) 인구 추적은 도전적인 과제이다. 기존의 대부분의 다중 카메라 추적 알고리즘은 오프라인 환경을 전제로 설계되어 있으며, 높은 계산 복잡도를 가지고 있다. 실시간으로 안정적인 다중 카메라 3D 추적은 여전히 해결되지 않은 문제이다. 본 연구에서는 신뢰할 수 있는 실시간 다중 카메라 사람 추적을 달성하는 새로운 엔드 투 엔드 추적 파이프라인인 Deep Multi-Camera Tracking (DMCT)을 제안한다. 제안하는 DMCT는 1) 빠르고 새로운 시점 인식형 딥 그라운드포인트 네트워크, 2) 지면 평면 점유 히트맵 추정을 위한 융합 절차, 3) 사람 검출을 위한 새로운 딥 글리mps 네트워크, 그리고 4) 빠르고 정확한 온라인 추적기로 구성된다. 본 설계는 각 색상 이미지에서 각 사람의 '지면 점(ground point)'을 추정하기 위해 딥 신경망의 잠재력을 극대화하며, 효율적이고 강건하게 실행될 수 있도록 최적화된다. 제안한 융합 절차, 글리mps 네트워크 및 추적기는 다양한 시점에서 얻은 결과를 통합하고, 다중 영상 프레임을 활용해 사람 후보를 탐색한 후 융합된 히트맵 위에서 사람을 추적한다. 제안한 시스템은 실시간 성능을 유지하면서도 최첨단 추적 성능을 달성한다. WILDTRACK과 같은 도전적인 데이터셋 외에도, 서로 다른 환경과 카메라 설정에서 고품질 레이블을 갖춘 두 개의 새로운 추적 데이터셋을 수집하였다. 실험 결과는 제안된 실시간 파이프라인이 기존 방법에 비해 우수한 성능을 보임을 확인한다.

실시간 3D 딥 멀티카메라 추적 | 최신 연구 논문 | HyperAI초신경