비디오 객체 분할을 위한 효율적인 지역 메모리 네트워크

최근, 몇몇 시공간 메모리 기반 네트워크들이 과거 프레임에서의 객체 힌트(예: 비디오 프레임 및 분할된 객체 마스크)가 현재 프레임에서 객체를 분할하는 데 유용하다는 것을 보여주었습니다. 그러나 이러한 방법들은 현재 프레임과 과거 프레임 간의 전역-전역 매칭을 통해 메모리 정보를 활용하므로, 유사한 객체와의 매칭 오류와 높은 계산 복잡도를 초래합니다. 이러한 문제들을 해결하기 위해, 우리는 반監督 VOS(Video Object Segmentation)에 대한 새로운 지역-지역 매칭 솔루션인 지역 메모리 네트워크(RMNet, Regional Memory Network)를 제안합니다. RMNet에서는 과거 프레임에서 대상 객체가 나타나는 지역을 기억하여 정확한 지역 메모리를 구축합니다. 현재 쿼리 프레임에 대해서는 이전 프레임에서 추정된 광학 흐름(optical flow)을 바탕으로 쿼리 지역을 추적하고 예측합니다. 제안된 지역-지역 매칭은 메모리와 쿼리 프레임 모두에서 유사한 객체들의 모호성을 효과적으로 완화시켜, 지역 메모리로부터 쿼리 지역으로 정보가 효율적이고 효과적으로 전달될 수 있도록 합니다. 실험 결과는 제안된 RMNet이 DAVIS 및 YouTube-VOS 데이터셋에서 최신 방법들과 비교해 우수한 성능을 보이는 것을 나타냅니다.