초록
본 논문은 도전적인 준지도 비디오 객체 분할 문제를 해결하기 위한 임베딩 학습의 원칙을 조사합니다. 이전 연구들이 전경 객체의 임베딩 학습에 집중하는 것과 달리, 우리는 배경도 동등하게 다루어야 한다고 고려하였습니다. 따라서, 전경-배경 통합(CFBI, Collaborative video object segmentation by Foreground-Background Integration) 접근법을 제안합니다. CFBI는 특징 임베딩을 전경 객체 영역과 해당 배경 영역으로 분리하여, 이들을 암시적으로 더 대조적으로 만들고 분할 결과를 개선합니다. 또한, CFBI는 참조 시퀀스와 예측 시퀀스 간에 픽셀 수준 매칭 과정과 인스턴스 수준 주의 메커니즘을 수행하여 다양한 객체 크기에 대해 강건성을 보장합니다. CFBI 기반으로, 우리는 다중 스케일 매칭 구조를 소개하고 Atrous Matching 전략을 제안하여 더욱 강건하고 효율적인 프레임워크인 CFBI+를 개발하였습니다. 우리는 DAVIS와 YouTube-VOS라는 두 가지 유명한 벤치마크에서 광범위한 실험을 수행하였으며, 사전 훈련용 시뮬레이션 데이터를 사용하지 않았음에도 불구하고 CFBI+는 성능(J&F) 82.9%와 82.8%를 달성하여 모든 다른 최신 방법들을 능가하였습니다. 코드: https://github.com/z-x-yang/CFBI.