시간적으로 안정적인 비디오 인스턴스 세그멘테이션을 위한 프레임 간 주의 메커니즘을 통한 객체 전파

비디오 인스턴스 세그멘테이션은 비디오 내 객체를 탐지하고, 분할하며, 추적하는 것을 목표로 한다. 기존의 접근 방식은 이미지 수준의 세그멘테이션 알고리즘을 시간 차원으로 확장하는 방식을 채택하고 있으나, 이로 인해 시간적으로 일관성 없는 마스크가 발생한다. 본 연구에서는 시간적 안정성에 기인한 마스크 품질이 성능의 주요 제약 요소임을 밝혀냈다. 이를 바탕으로, 누락 탐지 문제를 완화할 수 있는 비디오 인스턴스 세그멘테이션 방법을 제안한다. 공간 정보만으로는 이 문제를 해결할 수 없기 때문에, 프레임 간 어텐션을 활용하여 시간적 맥락을 효과적으로 활용한다. 이를 통해 이웃 프레임의 박스 예측을 기반으로 사라진 객체에 다시 초점을 맞출 수 있으며, 결과적으로 누락 탐지 문제를 극복할 수 있다. 제안하는 방법은 Mask R-CNN 백본을 사용한 기존 최첨단 알고리즘보다 뚜렷한 성능 향상을 보이며, YouTube-VIS 벤치마크에서 36.0%의 mAP를 달성하였다. 또한 본 방법은 완전히 온라인 방식이며, 미래 프레임을 필요로 하지 않는다. 코드는 공개적으로 제공되며, https://github.com/anirudh-chakravarthy/ObjProp 에서 확인할 수 있다.