SWEM: 시퀀셜 가중치 기대최대화를 이용한 실시간 비디오 객체 분할

매칭 기반 방법, 특히 시공간 메모리를 기반으로 하는 방법은 준감독 비디오 객체 분할(VOS)에서 다른 솔루션들보다 크게 앞서 있습니다. 그러나 지속적으로 증가하고 중복되는 템플릿 특징들이 효율적인 추론을 방해합니다. 이를 해결하기 위해, 우리는 새로운 순차 가중 기대 최대화(SWEM) 네트워크를 제안하여 메모리 특징의 중복성을 크게 줄입니다. 이전 방법들이 프레임 간의 특징 중복만 감지하는 것과 달리, SWEM은 순차 가중 EM 알고리즘을 활용하여 프레임 내부와 프레임 간의 유사한 특징들을 통합합니다. 또한, 프레임 특징에 대한 적응적 가중치는 SWEM이 어려운 샘플을 표현하는 유연성을 부여하며, 템플릿의 구분력을 개선합니다. 제안된 방법은 메모리 내에서 템플릿 특징의 수를 일정하게 유지함으로써 VOS 시스템의 안정적인 추론 복잡도를 보장합니다. DAVIS와 YouTube-VOS 데이터셋에서 수행된 광범위한 실험들은 SWEM의 높은 효율성(36 FPS)과 성능(DAVIS 2017 검증 데이터셋에서 84.3% $\mathcal{J}\&\mathcal{F}$)을 확인해주었습니다. 코드는 다음 주소에서 확인 가능합니다: https://github.com/lmm077/SWEM.