SegSort: 세그먼트의 구분적 정렬을 통한 세그멘테이션

현재까지 존재하는 대부분의 심층 학습 기반 의미 분할 접근법은 이 작업을 픽셀 단위 분류 문제로 다룬다. 그러나 인간은 픽셀 단위로 장면을 이해하지 않고, 인식의 기본 구성 요소인 인지적 그룹과 구조로 장면을 분해함으로써 이해한다. 이에 따라 우리는 이러한 과정을 모방하는 엔드투엔드 픽셀 단위 메트릭 학습 접근법을 제안한다. 본 방법에서는 최적의 시각적 표현이 개별 이미지 내에서 적절한 분할을 결정하고, 이미지 간 동일한 의미 클래스에 속하는 세그먼트들을 연결한다. 따라서 핵심 시각적 학습 문제는 세그먼트 내 유사도를 최대화하고 세그먼트 간 유사도를 최소화하는 것이다. 이와 같이 학습된 모델을 기반으로 추론은 픽셀 단위 임베딩을 추출하고 클러스터링하는 일관된 방식으로 수행되며, 의미 레이블은 주어진 레이블링된 데이터셋에서 가장 가까운 이웃들의 다수결에 의해 결정된다.결과적으로, 우리는 지도 학습 기반 접근법의 76% 성능을 달성한 최초의 딥러닝 기반 비지도 의미 분할 방법인 SegSort를 제안한다. 지도 정보가 제공될 경우, SegSort는 전통적인 픽셀 단위 소프트맥스 학습 기반 접근법보다 일관된 성능 향상을 보인다. 더불어 본 방법은 더 정밀한 경계 및 일관된 영역 예측을 가능하게 한다. 또한 제안된 SegSort는 각 레이블 선택이 검색된 가장 가까운 세그먼트들로부터 쉽게 해석될 수 있기 때문에 해석 가능성이 높은 결과를 제공한다.