장기 특징 뱅크를 이용한 상세한 비디오 이해

세상을 이해하기 위해서는 인간이 현재를 과거와 연결시키고 사건들을 맥락 속에 놓아야 하는 필요성이 지속적으로 존재합니다. 본 논문에서는 기존 비디오 모델들이 같은 방식으로 작동할 수 있도록 합니다. 우리는 전체 비디오 구간에서 추출한 보조 정보인 장기 특징 뱅크(long-term feature bank)를 제안하여, 그렇지 않으면 2-5초 길이의 짧은 클립만을 볼 수 있는 최신 비디오 모델들을 강화합니다. 실험 결과, 장기 특징 뱅크를 활용한 3차원 컨볼루션 네트워크(3D convolutional networks)가 AVA, EPIC-Kitchens, 그리고 Charades라는 세 가지 도전적인 비디오 데이터셋에서 최고의 성능을 나타냈다는 것을 확인할 수 있었습니다.