사전 지식 없이 알려진 객체와 미지의 미지 객체를 구분하는 방법

패노픽 세그멘테이션 기법은 입력된 각 픽셀에 사전에 알려진 클래스를 할당한다. 최첨단 접근 방식이라도 이는 훈련 카테고리 외의 객체에 대해 시스템적으로 잘못된 예측을 초래하는 결정을 강제하게 된다. 그러나 안전이 중요한 환경에서는 분포 외 샘플 및 극단적인 케이스에 대한 견고성이 필수적이며, 이는 위험한 결과를 방지하기 위함이다. 현실 세계 데이터셋은 기반 분포의 긴 꼬리(long tail)를 충분히 샘플링할 만큼의 데이터 포인트를 포함할 수 없기 때문에, 모델은 예측하지 못한, 알 수 없는 시나리오에도 대응할 수 있어야 한다. 이전의 방법들은 이미 관측된 레이블이 없는 객체들을 재식별하는 방식으로 이 문제를 해결해왔다. 본 연구에서는 새로운 설정인 '홀리스틱 세그멘테이션(Holistic Segmentation)'을 제안함으로써 세그멘테이션을 확장하는 데 필요한 단계를 제시한다. 홀리스틱 세그멘테이션은 사전 지식 없이도 미지의, 새로운 카테고리의 객체를 인스턴스별로 식별하고 분리하는 것을 목표로 하며, 동시에 기존 카테고리의 패노픽 세그멘테이션을 수행한다. 이 새로운 문제에 대해 U3HS(Uncertainty-aware Unknown-aware Hierarchical Segmentation)를 제안하며, 이는 불확실성이 높은 영역으로 미지 객체를 탐지하고, 해당 인스턴스 인식 임베딩을 군집화하여 개별 객체로 분리한다. 이를 통해 패노픽 세그멘테이션에서 미지 객체를 다룰 때, U3HS는 미지 카테고리 없이 훈련이 가능하여 가정을 최소화하고 현실 세계 시나리오와 같이 제약이 없는 환경을 유지한다. MS COCO, Cityscapes, Lost&Found의 공개 데이터셋을 대상으로 수행한 광범위한 실험을 통해, 새로운 도전적인 환경이자 가정 없는 설정인 홀리스틱 세그멘테이션에서 U3HS의 효과성을 입증하였다. 프로젝트 페이지: https://holisticseg.github.io.