프레임 및 이벤트 도메인을 동시에 활용한 객체 추적

전통적인 프레임 기반 카메라와 생물학적 영감을 받은 이벤트 기반 카메라 간의 보완성에 착안하여, 고정된 객체 추적 성능을 향상시키기 위해 프레임 도메인과 이벤트 도메인의 시각적 정보를 융합하는 다중 모달 기반 접근법을 제안한다. 특히 고역동 범위, 저조도, 고속 운동 물체가 포함된 열악한 환경에서의 성능 향상에 초점을 맞추었다. 제안하는 방법은 두 도메인에서 유의미한 정보를 효과적이고 적응적으로 통합할 수 있다. 본 방법의 효과성은 자기 도메인 및 교차 도메인 주의 메커니즘을 기반으로 한 새로운 설계된 교차 도메인 주의 방식에 의해 강화되며, 이는 특징을 효과적으로 증강시킨다. 적응성은 두 도메인의 기여도를 자동으로 균형 있게 조절할 수 있도록 특별히 설계된 가중치 방식을 통해 보장된다. 이벤트 기반 시각적 정보를 단일 객체 추적에 활용하기 위해, 대규모의 프레임-이벤트 기반 데이터셋을 구축하였으며, 이를 바탕으로 새로운 프레임-이벤트 융합 기반 모델을 학습시켰다. 광범위한 실험 결과, 제안된 방법은 대표적인 성공률과 정밀도 측면에서 최신의 프레임 기반 추적 방법보다 각각 최소 10.4%, 11.9% 우수한 성능을 보였다. 또한, 본 방법의 각 핵심 구성 요소의 유효성은 철저한 제거 실험(ablation study)를 통해 입증되었다.