초록
상호작용 비디오 객체 분할(iVOS)은 사용자 상호작용을 통해 비디오 내의 대상 객체에 대한 고품질 분할 마스크를 효율적으로 추출하는 것을 목표로 합니다. 대부분의 이전 최신 기술들은 사용자 상호작용과 시간적 전파를 각각 수행하기 위해 두 개의 독립적인 네트워크를 사용하여, 추론 단계에서 비효율성을 초래하였습니다. 본 연구에서는 이러한 도전적인 iVOS 문제를 보다 효율적으로 해결하기 위해 통합 프레임워크인 메모리 집계 네트워크(MA-Net)를 제안합니다. 우리의 MA-Net은 상호작용과 전파 작업을 하나의 네트워크로 통합하여, 다중 라운드 상호작용 방식에서 iVOS의 효율성을 크게 향상시킵니다. 더욱 중요한 것은, 우리는 이전 상호작동 라운드에서 얻은 유익한 지식을 기록하는 간단하면서도 효과적인 메모리 집계 메커니즘을 제안합니다. 이는 도전적인 관심 객체를 발견하는 데 있어 강건성을 크게 향상시키는 역할을 합니다. 우리는 DAVIS 챌린지 2018 벤치마크의 검증 세트에서 광범위한 실험을 수행하였습니다. 특히, 우리의 MA-Net은 어떠한 특별한 트릭 없이 J@60 점수 76.1%를 달성하였으며, 이는 기존 최신 기술들보다 2.7% 이상 우수한 성능을 나타냈습니다.