시공간 그래프 신경망 기반 마스크 재구성 기법을 이용한 비디오 객체 분할

본 논문은 반지도 학습 환경에서 클래스에 관계없이 객체를 분할하는 작업을 다룹니다. 이전의 탐지 기반 방법들이 비교적 좋은 성능을 보였지만, 이러한 접근 방식은 탐욕적인 전략을 통해 최상의 제안을 추출하기 때문에 선택된 후보 외부의 로컬 패치 세부 정보를 잃을 수 있습니다. 본 논문에서는 비디오 객체 분할을 위해 더 정확한 마스크를 재구성하는 새로운 시공간 그래프 신경망(STG-Net)을 제안합니다. 이 모델은 모든 제안을 활용하여 로컬 컨텍스트를 포착합니다.공간 그래프에서 우리는 프레임의 객체 제안들을 노드로 취급하고, 에지 가중치 전략을 사용하여 마스크 컨텍스트를 집합화함으로써 그들의 상관관계를 표현합니다. 시간적 정보를 이전 프레임들로부터 포착하기 위해, 우리는 메모리 네트워크를 사용하여 시간 그래프에서 역사적인 마스크들을 검색하여 현재 프레임의 마스크를 개선합니다. 로컬 패치 세부 정보와 시간적 관계성을 동시에 활용함으로써, 우리는 객체 가림과 누락 등의 도전 과제들을 더 잘 해결할 수 있습니다.온라인 학습이나 미세 조정 없이, 우리의 STG-Net은 DAVIS, YouTube-VOS, SegTrack-v2, YouTube-Objects 등 네 가지 큰 벤치마크에서 최고 수준의 성능을 달성하였습니다. 이는 제안된 접근 방식의 효과성을 입증합니다.