임의의 관심 영역 추출 레이어를 위한 새로운 방법: 인스턴스 세그멘테이션 적용

컴퓨터 비전 작업을 위한 딥 신경망 아키텍처의 광범위한 보급에 따라, 최근 여러 새로운 응용이 점점 더 실현 가능해지고 있다. 그 중에서도 최근 특히 주목받고 있는 것은, R-CNN을 기반으로 한 이단계 네트워크(RoI 기반, 예: Mask R-CNN 또는 Faster R-CNN)가 달성할 수 있는 성능을 활용한 인스턴스 세그멘테이션이다. 이러한 복잡한 아키텍처에서 중요한 역할을 하는 것은, 백본(Backbone) 위에 연결된 단일 특징 피라미드 네트워크(FPN) 레이어로부터 일관된 특징 부분을 추출하는 '관심 영역(Region of Interest, RoI) 추출 레이어'이다.본 논문은 기존 RoI 추출기들이 FPN에서 단 하나의 최적 레이어만 선택하는 한계를 극복하고자 하는 필요성에서 출발한다. 우리의 통찰은 FPN의 모든 레이어가 유용한 정보를 유지하고 있다는 점이다. 따라서 제안하는 새로운 레이어(일명 일반화 RoI 추출기, Generic RoI Extractor - GRoIE)는 비국소적 구성 요소와 주의 메커니즘(attention mechanism)을 도입하여 성능을 향상시킨다.GRoIE 레이어의 구성 요소 수준에서 철저한 아블레이션(Ablation) 연구를 수행하여, 최적의 알고리즘과 파라미터 조합을 도출하였다. 또한 GRoIE는 객체 탐지 및 인스턴스 세그멘테이션 모두에 적용 가능한 모든 이단계 아키텍처와 원활하게 통합 가능하다. 따라서 최신의 다양한 상태의 기술(SOTA) 아키텍처에서 GRoIE를 사용했을 때의 성능 향상도 평가되었다. 그 결과, 경계 박스 탐지에서는 최대 1.1%의 AP(AP: Average Precision) 향상, 인스턴스 세그멘테이션에서는 최대 1.7%의 AP 향상이 달성되었다.제안된 레이어의 소스 코드는 GitHub 저장소에서 공개되어 있으며, 다음 링크에서 확인 가능하다: https://github.com/IMPLabUniPr/mmdetection/tree/groie_dev