마스크 가이던스를 통한 반복 훈련의 부활: 상호작용 세그멘테이션을 위한 방법

최근 클릭 기반 상호작용 세그멘테이션에 대한 연구들은 다양한 인퍼런스 시 최적화 기법을 활용하여 최신 기술 수준의 성능을 달성해왔다. 이러한 방법들은 인퍼런스 과정에서 네트워크를 거꾸로 전파하는(백워드 패스) 연산이 필요하기 때문에, 순전파 방식에 비해 상당히 계산 비용이 높으며, 일반적으로 순전파만을 지원하는 모바일 프레임워크에 배포하기 어렵다는 단점이 있다. 본 논문에서는 상호작용 세그멘테이션에 대한 다양한 설계 선택지를 철저히 평가한 결과, 추가적인 최적화 기법 없이도 새로운 최신 기술 수준의 성능을 달성할 수 있음을 발견하였다. 따라서 우리는 이전 단계의 세그멘테이션 마스크를 활용하는 간단한 순전파 모델을 제안한다. 이 모델은 완전히 새로운 객체를 세그멘테이션할 수 있을 뿐만 아니라, 외부 마스크를 기반으로 시작하여 이를 보정하는 것도 가능하다. 서로 다른 데이터셋으로 훈련된 모델의 성능을 분석한 결과, 훈련 데이터셋의 선택이 상호작용 세그멘테이션의 품질에 큰 영향을 미친다는 점을 관찰하였다. 특히 COCO와 LVIS의 조합으로 구성된, 다양한 항목과 고품질의 어노테이션을 가진 데이터셋으로 훈련된 모델이 기존 모든 모델보다 뛰어난 성능을 보였다. 코드와 훈련된 모델은 https://github.com/saic-vul/ritm_interactive_segmentation 에서 제공된다.