초록
비디오 내 교통 이벤트 인지 및 추론은 지능형 교통 시스템, 보조 운전, 자율 주행 차량 등 다양한 분야에 응용 가능한 중요한 과제이다. 본 논문에서는 10,080개의 실외 환경에서 촬영된 비디오와 이를 기반으로 Annotation한 62,535개의 QA 쌍을 활용하여, 복잡한 교통 상황에서 인과 추론 및 이벤트 이해 모델의 인지 능력을 평가하기 위한 새로운 데이터셋인 SUTD-TrafficQA(교통 질문-응답)를 제안한다. 구체적으로 다양한 교통 상황을 반영하는 6가지 도전적인 추론 과제를 제안함으로써, 다양한 복잡하면서도 실용적인 교통 이벤트에 대한 추론 능력을 평가할 수 있도록 하였다. 또한, 동적 추론을 통한 효율적인 구간 탐색 네트워크인 Eclipse를 제안하여, 계산 효율성이 높고 신뢰성 있는 비디오 추론을 달성하고자 하였다. 실험 결과, 제안한 방법은 계산 비용을 크게 줄이면서도 우수한 성능을 달성함을 확인하였다. 프로젝트 페이지: https://github.com/SUTDCV/SUTD-TrafficQA.