초록
우리는 Atkinson-Shiffrin 기억 모델에서 영감을 받은 통합된 특징 메모리 저장소를 사용하는 장기 비디오 객체 분할 아키텍처인 XMem을 소개합니다. 이전의 비디오 객체 분할 연구에서는 일반적으로 한 가지 유형의 특징 메모리만 사용되었습니다. 1분 이상의 긴 비디오에 대해서는 단일 특징 메모리 모델이 메모리 소비와 정확도를 밀접하게 연관시킵니다. 반면에, Atkinson-Shiffrin 모델을 따르면서 우리는 여러 개의 독립적이지만 깊게 연결된 특징 메모리 저장소를 통합한 아키텍처를 개발하였습니다: 빠르게 업데이트되는 감각 메모리, 고해상도 작업 메모리, 그리고 컴팩트하여 지속 가능한 장기 메모리입니다.중요하게도, 우리는 활성화된 작업 메모리 요소들을 장기 메모리로 일정하게 통합하는 메모리 강화 알고리즘을 개발하였습니다. 이 알고리즘은 메모리 폭발을 방지하고 장기 예측 시 성능 저하를 최소화합니다. 새로운 메모리 읽기 기제와 결합하여 XMem은 장기 비디오 데이터셋에서 현존하는 최고 수준의 성능을 크게 초과하면서, 짧은 비디오 데이터셋에서는 (장기 비디오에 적용되지 않는) 최신 방법들과 동등한 성능을 보여줍니다. 코드는 https://hkchengrex.github.io/XMem 에서 확인할 수 있습니다.