비디오 팬옵틱 세그멘테이션을 위한 모든 세그먼트의 연관성 학습

시간 대응성 - 프레임 간의 픽셀이나 객체를 연결하는 것 -은 비디오 모델에 있어 근본적인 감독 신호입니다. 동적 장면의 판옵틱 이해를 위해 우리는 이 개념을 모든 세그먼트로 확장합니다. 구체적으로, 우리는 거친 세그먼트 수준 매칭과 섬세한 픽셀 수준 매칭을 함께 학습하는 것을 목표로 합니다. 이를 실현하기 위해 두 가지 새로운 학습 목적을 설계하였습니다. 제안된 방법들을 검증하기 위해, 우리는 깊은 시아메즈 모델을 채택하여 모델이 세그먼트와 픽셀 두 가지 다른 수준에서 시간 대응성을 학습하도록 훈련시켰습니다. 추론 시에는 모델이 추가적인 계산이나 후처리 없이 각 프레임을 독립적으로 처리합니다. 우리는 프레임별 추론 모델이 Cityscapes-VPS 및 VIPER 데이터셋에서 새로운 최고 성능 결과를 달성할 수 있음을 보였습니다. 또한, 높은 효율성 덕분에 이전 최고 성능 접근법보다 훨씬 짧은 시간(3배) 내에 실행될 수 있음을 확인하였습니다.