JPPF: 일관된 팬옵틱-파트 세그멘테이션을 위한 다중 작업 융합

부품 인식 팬오프틱 세그멘테이션은 장면을 여러 수준의 세밀도로 의미론적으로 이해하려는 컴퓨터 비전의 문제입니다. 좀 더 정확하게 말하면, 의미 영역, 객체 인스턴스, 그리고 의미 부품이 동시에 예측됩니다. 본 논문에서는 이러한 세 가지 개별 세그멘테이션을 효과적으로 결합하여 팬오프틱-부품 세그멘테이션을 얻는 우리의 공동 팬오프틱 부품 융합(Joint Panoptic Part Fusion, JPPF) 방법을 제시합니다. 이 과정에서 두 가지 측면이 매우 중요합니다: 첫째, 세 가지 문제에 대한 통합 모델이 필요하며, 이는 상호 보완적이고 일관된 표현 학습을 가능하게 합니다. 둘째, 모든 개별 결과가 융합 과정에서 동등한 중요성을 갖도록 균형 있게 결합하는 것입니다. 제안된 JPPF는 매개변수 없이 동적으로 입력을 균형 잡습니다. 본 방법은 파트PQ(PartPQ)와 전체-부분 품질(Part-Whole Quality, PWQ) 측면에서 Cityscapes 팬오프틱 부품(Cityscapes Panoptic Parts, CPP) 데이터셋과 Pascal 팬오프틱 부품(Pascal Panoptic Parts, PPP) 데이터셋에서 평가 및 비교되었습니다. 광범위한 실험을 통해 우리 접근 방식의 공정한 융합의 중요성을 확인하고, 부분으로 더 분할될 수 있는 영역에 가장 큰 영향을 미치는 점을 강조하며, 추가 5개 데이터셋에서 미세 조정(fine-tuning) 없이도 일반화 능력을 입증하였습니다.