사물과 물질을 융합하는 방법 배우기

우리는 팬옵틱 세그멘테이션, 즉 인스턴스(물체)와 의미(배경) 세그멘테이션을 통합하는 새로운 작업에 대한 엔드투엔드 학습 접근법을 제안합니다. 우리의 모델인 TASCNet은 공유 백본 네트워크에서 얻은 특성 맵을 사용하여 단일 순방향 전달 과정에서 물체와 배경의 세그멘테이션을 동시에 예측합니다. 우리는 이러한 두 출력 분포를 글로벌 물체와 배경 이진 마스크를 통해 명시적으로 제약하여 태스크 간 일관성을 강제합니다. 제안된 통합 네트워크는 팬옵틱 세그멘테이션 뿐만 아니라 개별적인 의미 세그멘테이션과 인스턴스 세그멘테이션 태스크에서도 여러 벤치마크에서 최신 기술과 경쟁력 있습니다.