11일 전

비디오 객체 세그멘테이션을 위한 신뢰성 있는 전파-보정 변조 기법

Xiaohao Xu, Jinglu Wang, Xiao Li, Yan Lu
비디오 객체 세그멘테이션을 위한 신뢰성 있는 전파-보정 변조 기법
초록

온라인 반감독 비디오 객체 세분화에서 오류 전파는 일반적이지만 핵심적인 문제이다. 우리는 높은 신뢰도를 갖춘 보정 메커니즘을 통해 오류 전파를 억제하고자 한다. 핵심적인 통찰은 신뢰할 수 있는 신호를 활용해 보정 과정을 기존의 마스크 전파 과정과 분리하는 것이다. 이를 위해 우리는 지역적 시간적 상관관계에 따라 작동하는 전파 모듈러레이터와 신뢰할 수 있는 참조에 따라 작동하는 보정 모듈러레이터를 도입하여, 대상 프레임 임베딩에 대해 채널별 재보정을 별도로 수행한다. 구체적으로, 이 모듈러레이터들을 계단식(카스케이드) 구조의 전파-보정 방식으로 구성함으로써, 전파 모듈러레이터가 보정 모듈러레이터의 효과를 지배하거나 압도하는 것을 방지한다. 비록 참조 프레임이 정답 라벨을 제공함으로써 신뢰할 수 있는 신호를 제공하지만, 이는 대상 프레임과 매우 다를 수 있으며, 불확실하거나 불완전한 상관관계를 유도할 수 있다. 이를 보완하기 위해, 유지되는 풀(pool)에 신뢰할 수 있는 특징 패치를 보충함으로써 모듈러레이터에게 더욱 포괄적이고 표현력이 풍부한 객체 표현을 제공한다. 또한 신뢰도 필터를 설계하여 신뢰할 수 있는 패치를 추출하고, 이후 프레임으로 전달한다. 제안한 모델은 YouTube-VOS18/19 및 DAVIS17-Val/Test 벤치마크에서 최상의 성능을 달성하였다. 광범위한 실험을 통해 보정 메커니즘이 신뢰할 수 있는 안내 정보를 효과적으로 활용함으로써 상당한 성능 향상을 제공함을 입증하였다. 코드는 다음 링크에서 확인할 수 있다: https://github.com/JerryX1110/RPCMVOS.

비디오 객체 세그멘테이션을 위한 신뢰성 있는 전파-보정 변조 기법 | 최신 연구 논문 | HyperAI초신경