고품질 인스턴스 세그멘테이션을 위한 마스크 트랜스파인어

이중 단계 및 쿼리 기반 인스턴스 세그멘테이션 방법은 뛰어난 성과를 달성해 왔다. 그러나 이러한 방법들이 생성하는 마스크는 여전히 매우 거친 편이다. 본 논문에서는 고품질이고 효율적인 인스턴스 세그멘테이션을 위한 Mask Transfiner를 제안한다. 정규적인 밀집 텐서 위에서 작동하는 기존 방식과 달리, 우리의 Mask Transfiner는 이미지 영역을 4분할 트리(quadtree)로 분해하고 표현한다. 기반된 트랜스포머 기반 접근법은 감지된 오류 발생 가능성이 높은 트리 노드들만을 대상으로 처리하며, 이를 동시에 자가 수정한다. 이러한 희소한 픽셀들은 전체 픽셀 수 중 매우 소수를 차지하지만, 최종 마스크 품질에 결정적인 영향을 미친다. 이로 인해 Mask Transfiner는 낮은 계산 비용으로도 매우 정확한 인스턴스 마스크를 예측할 수 있다. 광범위한 실험을 통해 Mask Transfiner가 세 가지 주요 벤치마크에서 현재의 인스턴스 세그멘테이션 방법들을 모두 압도함을 입증하였으며, COCO 및 BDD100K에서는 두 단계 및 쿼리 기반 프레임워크 모두 +3.0의 마스크 AP 향상, Cityscapes에서는 +6.6의 경계 AP 향상을 기록하여 큰 성능 개선을 보였다. 본 연구의 코드와 학습된 모델은 http://vis.xyz/pub/transfiner 에 공개될 예정이다.