Saliency-Guided DETR for Moment Retrieval and Highlight Detection 주목도 지도된 DETR을 이용한 순간 검색 및 하이라이트 탐지

기존의 비디오 순간 검색 및 하이라이트 감지 방법들은 텍스트와 비디오 특성을 효율적으로 맞춤화할 수 없어 성능이 만족스럽지 않고 제한적인 실용화가 이루어지고 있습니다. 이를 해결하기 위해, 우리는 최근 이러한 맞춤화를 위한 기초 비디오 모델을 활용하는 새로운 아키텍처를 제안합니다. 이 아키텍처는 소개된 주목도 지도 교차 주의(Saliency-Guided Cross Attention) 메커니즘과 하이브리드 DETR 아키텍처를 결합하여 순간 검색과 하이라이트 감지 작업에서 성능을 크게 향상시킵니다. 더욱 나은 개선을 위해, 우리는 대규모 고품질 사전 학습 데이터셋인 InterVid-MR을 개발했습니다. 이를 사용하여 우리의 아키텍처는 QVHighlights, Charades-STA 및 TACoS 벤치마크에서 최고 수준의 결과를 달성하였습니다. 제안된 접근 방식은 영상-언어 작업에서 제로샷(zero-shot) 및 미세 조정(fine-tuning) 시나리오 모두에 대해 효율적이고 확장 가능한 솔루션을 제공합니다.