픽셀 단위 분류는 의미 분할을 위한 유일한 방법이 아니다

현대적인 접근 방식은 일반적으로 의미 분할(semantic segmentation)을 픽셀 단위 분류 작업으로 설정하는 반면, 인스턴스 수준 분할(instance-level segmentation)은 별도의 마스크 분류 방식으로 처리한다. 우리의 핵심 통찰은, 마스크 분류 방식이 의미 분할과 인스턴스 수준 분할이라는 두 가지 작업을 동일한 모델, 손실 함수, 학습 절차를 사용하여 통합적으로 해결할 수 있을 정도로 충분히 일반화되어 있다는 점이다. 이러한 관찰을 바탕으로, 각각의 이진 마스크가 단일 전역 클래스 레이블 예측과 연결되는 일련의 이진 마스크를 예측하는 간단한 마스크 분류 모델인 MaskFormer을 제안한다. 종합적으로, 제안하는 마스크 분류 기반의 방법은 의미 분할 및 팔레틱 분할(panoptic segmentation) 작업에 대한 효과적인 접근 방식의 복잡성을 단순화하며, 뛰어난 실험적 성능을 보여준다. 특히, 클래스 수가 많을 경우 MaskFormer이 픽셀 단위 분류 기반의 기준 모델보다 우수한 성능을 나타낸다는 점을 관찰할 수 있다. 본 연구에서 제안하는 마스크 분류 기반의 방법은 현재 최고 수준의 의미 분할 모델(ADA20K에서 55.6 mIoU)과 팔레틱 분할 모델(COCO에서 52.7 PQ) 모두를 초과하는 성능을 달성하였다.