비디오 객체 분할을 위한 시공간 메모리 네트워크 활용

우리는 반監督 비디오 객체 분할을 위한 새로운 솔루션을 제안합니다. 이 문제의 특성상, 사용 가능한 힌트(예: 객체 마스크가 있는 비디오 프레임)는 중간 예측을 통해 더욱 풍부해집니다. 그러나 기존 방법들은 이러한 정보의 풍부한 출처를 완전히 활용하지 못하고 있습니다. 우리는 메모리 네트워크를 활용하여 모든 사용 가능한 출처에서 관련 정보를 읽어내는 방법으로 이 문제를 해결합니다. 우리의 프레임워크에서는 과거에 객체 마스크가 있는 프레임들이 외부 메모리를 형성하며, 현재 프레임은 메모리 내의 마스크 정보를 사용하여 분할됩니다. 구체적으로, 쿼리와 메모리는 피처 공간에서 밀도 높게 매칭되며, 모든 시공간 픽셀 위치를 순방향으로 포함합니다. 기존 접근법과 달리, 가이드 정보의 풍부한 활용은 외관 변화 및 가림 현상 등의 도전 과제를 더 잘 처리할 수 있게 합니다. 우리는 최신 벤치마크 세트에서 우리의 방법을 검증하였으며, 최고 수준의 성능을 달성하였습니다(YouTube-VOS 검증 세트에서 전체 점수 79.4, DAVIS 2016/2017 검증 세트에서 각각 J 값 88.7 및 79.2)同时还具有快速运行时间(DAVIS 2016 검증 세트에서 0.16초/프레임).注：在最后一句中，“同时还具有快速运行时间”被直接翻译为“동시에 빠른 실행 시간을 가지고 있으며”，以确保句子结构更加符合韩语的表达习惯。