동작 그룹핑을 통한 자기 지도형 비디오 객체 분할

동물들은 복잡한 환경에서도 움직임을 이해하고 인식을 돕기 위해 고도로 기능적인 시각 시스템을 진화시켰습니다. 본 논문에서는 이러한 움직임 신호를 활용하여 객체를 분할하는 컴퓨터 비전 시스템 개발에 초점을 맞춥니다(즉, 움직임 분할). 다음과 같은 기여를 합니다: 첫째, 주요 객체와 배경으로 광학 흐름 프레임을 분할하기 위한 트랜스포머의 간단한 변형을 소개합니다. 둘째, 수동 주석 없이 자기 지도 방식으로 아키텍처를 학습합니다. 셋째, 방법론의 여러 중요한 구성 요소들을 분석하고 철저한 제거 실험(ablation studies)을 통해 그 필요성을 검증합니다. 넷째, 제안된 아키텍처를 공개 벤치마크(DAVIS2016, SegTrackv2, FBMS59)에서 평가합니다. 광학 흐름만을 입력으로 사용함에도 불구하고, 우리의 접근법은 이전 최신 자기 지도 방법들과 비교해 우수하거나 유사한 결과를 도출하며, 한 자릿수 이상 빠른 속도를 보입니다. 또한 어려운 위장 데이터셋(MoCA)에서도 평가하였으며, 다른 자기 지도 접근법들보다 크게 우수한 성능을 보였고, 최상위 감독 학습 접근법과 유리하게 비교되었습니다. 이는 움직임 신호의 중요성과 기존 비디오 세그멘테이션 모델들의 시각적 외관에 대한 잠재적 편향성을 강조합니다.