라벨링되지 않은 영상에서 학습하는 비디오 객체 세그멘테이션

우리는 기존의 대부분의 방법이 광범위한 레이블링된 데이터에 크게 의존하는 것과 달리, 레이블이 없는 영상에서 객체 패턴 학습을 해결하는 새로운 비디오 객체 분할(VOS) 방법을 제안한다. 우리는 다중 해상도 차원에서 VOS의 내재적 특성을 종합적으로 포착할 수 있는 통합된 비감독/약한 감독 학습 프레임워크인 MuG를 도입한다. 본 연구에서 제안하는 접근법은 VOS 내 시각적 패턴에 대한 이해를 촉진하고, 레이블링 부담을 크게 줄이는 데 기여할 수 있다. 정교하게 설계된 아키텍처와 강력한 표현 학습 능력을 갖춘 본 모델은 객체 수준의 제로샷 VOS, 인스턴스 수준의 제로샷 VOS, 그리고 원샷 VOS를 포함한 다양한 VOS 환경에 적용 가능하다. 실험 결과, 이러한 환경에서 유망한 성능을 보였으며, MuG가 레이블이 없는 데이터를 효과적으로 활용하여 분할 정확도를 추가로 향상시킬 수 있는 잠재력을 보여주었다.