PointRend: 이미지 세그멘테이션을 렌더링으로서 이해하기

우리는 객체 및 장면에 대한 효율적이고 고품질의 이미지 세그멘테이션을 위한 새로운 방법을 제안한다. 픽셀 레이블링 작업에서 발생하는 과도 샘플링 및 부족 샘플링 문제를 전통적인 컴퓨터 그래픽스의 효율적 렌더링 기법과 유사하게 해석함으로써, 이미지 세그멘테이션을 렌더링 문제로 바라보는 독창적인 관점을 제시한다. 이러한 관점에서 우리는 PointRend(점 기반 렌더링) 신경망 모듈을 제안한다. 이 모듈은 반복적 분할 알고리즘에 기반하여 적응적으로 선택된 위치에서 점 기반의 세그멘테이션 예측을 수행한다. PointRend는 기존의 최신 기술 모델 위에 구축함으로써 인스턴스 세그멘테이션과 세멘틱 세그멘테이션 모두에 유연하게 적용할 수 있다. 일반적인 아이디어의 구체적 구현은 여러 가지 가능성이 있지만, 단순한 설계만으로도 뛰어난 성능을 달성함을 보여준다. 정성적으로, PointRend는 이전 방법이 과도하게 부드럽게 처리하는 영역에서도 선명한 객체 경계를 출력한다. 정량적으로도, PointRend는 인스턴스 세그멘테이션과 세멘틱 세그멘테이션 모두에서 COCO 및 Cityscapes 데이터셋에서 유의미한 성능 향상을 보인다. PointRend의 효율성 덕분에 기존 접근 방식과 비교해 메모리나 계산 측면에서 실현 불가능했던 높은 해상도 출력도 가능해진다. 관련 코드는 https://github.com/facebookresearch/detectron2/tree/master/projects/PointRend 에서 공개되어 있다.