13일 전

장면 분할을 위한 컨텍스트 사전

Changqian Yu, Jingbo Wang, Changxin Gao, Gang Yu, Chunhua Shen, Nong Sang
장면 분할을 위한 컨텍스트 사전
초록

최근 연구들은 더 정확한 세그멘테이션 결과를 얻기 위해 문맥적 의존성에 대해 광범위하게 탐구해왔다. 그러나 대부분의 기법들은 서로 다른 유형의 문맥적 의존성을 구분하지 않아 장면 이해에 혼란을 초래할 수 있다. 본 연구에서는 직접적인 사전 지도를 통해 클래스 내 및 클래스 간 문맥을 명확히 구분하는 특징 집약 방식을 제안한다. 구체적으로, 유사도 손실(Affinity Loss)을 이용한 지도 하에 문맥 사전(Context Prior)을 개발한다. 입력 이미지와 해당 진짜 레이블을 기반으로 유사도 손실은 최적의 유사도 맵을 구성하여 문맥 사전의 학습을 지도한다. 학습된 문맥 사전은 동일한 카테고리에 속하는 픽셀을 추출하는 반면, 역방향 사전은 서로 다른 클래스의 픽셀에 주목한다. 기존의 심층 CNN에 통합함으로써 제안하는 문맥 사전 레이어(Context Prior Layer)는 클래스 내 및 클래스 간 문맥적 의존성을 선택적으로 캡처할 수 있으며, 이는 강력한 특징 표현을 가능하게 한다. 효과성을 검증하기 위해 효과적인 문맥 사전 네트워크(Context Prior Network, CPNet)를 설계하였다. 광범위한 정량적 및 정성적 평가 결과는 제안 모델이 최신 기술 대비 유리한 성능을 보임을 입증한다. 특히 본 알고리즘은 ADE20K에서 46.3%의 mIoU, PASCAL-Context에서 53.9%의 mIoU, Cityscapes에서 81.3%의 mIoU를 달성하였다. 코드는 https://git.io/ContextPrior에서 제공된다.