MobileVOS: 실시간 비디오 객체 분할 대조 학습과 지식 증류의 만남

본 논문은 모바일 폰과 같은 자원 제약이 있는 장치에서 반지도 비디오 객체 분할 문제를 다룹니다. 이 문제를 증류 작업으로 정식화하여, 유한 메모리를 가진 작은 시공간-메모리 네트워크가 최신 기술과 경쟁력 있는 결과를 도출할 수 있음을 보여주며, 이는 계산 비용의 일부분(삼성 갤럭시 S22에서 프레임당 32밀리초)만을 필요로 합니다. 구체적으로, 우리는 지도 대조적 표현 학습(supervised contrastive representation learning)과 지식 증류(knowledge distillation)를 통합하는 이론적으로 근거한 프레임워크를 제공합니다. 이러한 모델들은 픽셀 단위 대조적 학습과 사전 훈련된 교사 모델로부터의 증류 모두에서 공동으로 혜택을 받을 수 있습니다. 우리는 이 손실 함수(loss)를 사용하여 표준 DAVIS 및 YouTube 벤치마크에서 최신 기술과 경쟁력 있는 J&F 점수를 달성함으로써 이를 검증하였으며, 최대 5배 더 빠르게 실행되고 32배 적은 매개변수로 구성되어 있습니다.