다중 작업 융합을 통한 효율적인 팬옵틱-파트 세그멘테이션

본 논문에서는 공유 인코더를 사용하여 의미 분할, 인스턴스 분할, 부품 분할을 생성하고 이를 효과적으로 융합하여 팬옵틱-부품 분할을 달성하는 새로운 네트워크를 소개합니다. 이 세 가지 분할 문제를 통합함으로써 상호 개선되고 일관된 표현 학습이 가능해집니다. 모든 세 헤드의 예측을 효율적으로 융합하기 위해, 우리는 동적으로 로짓을 균형 잡고 팬옵틱-부품 분할을 생성하는 파라미터 없는 공동 융합 모듈을 제안합니다. 우리의 방법은 Cityscapes Panoptic Parts (CPP) 및 Pascal Panoptic Parts (PPP) 데이터셋에서 평가되었습니다. CPP에 대해, 제안된 모델의 PartPQ는 공동 융합을 통해 모든 영역에서 이전 최신 기술보다 1.6%포인트, 부품이 있는 세그먼트에서 4.7%포인트 높은 성능을 보였습니다. PPP에서는 우리의 공동 융합이 이전 상위-하위 병합 전략을 사용한 모델보다 PartPQ에서 3.3%포인트, 분할 가능한 클래스의 PartPQ에서 10.5%포인트 높은 성능을 보였습니다.