f-BRS: 인터랙티브 세그멘테이션을 위한 백프로파게이션 개선 재고

딥 신경망은 상호작용형 세그멘테이션의 주류 방법으로 자리 잡았다. 우리의 실험에서 보듯이, 일부 이미지에 대해서는 훈련된 네트워크가 몇 번의 클릭만으로 정확한 세그멘테이션 결과를 제공하지만, 일부 미지의 객체에 대해서는 사용자 입력이 많아도 만족스러운 결과를 얻기 어렵다. 최근 제안된 역전파 개선(BRS, backpropagating refinement scheme) 기법은 어려운 케이스에서 훨씬 우수한 성능을 보이도록 상호작용형 세그멘테이션을 위한 최적화 문제를 도입하였다. 그러나 BRS는 다른 방법에 비해 각 클릭당 계산 비용이 크게 증가하는 문제를 가지고 있는데, 이는 깊은 네트워크를 여러 번 전방 및 역방향 전파를 수행해야 하기 때문이다. 본 논문에서는 네트워크 입력 대신 보조 변수에 대해 최적화 문제를 해결하는 f-BRS(Feature Backpropagating Refinement Scheme)를 제안한다. 이 방법은 네트워크의 일부 작은 부분에 대해서만 전방 및 역방향 전파를 수행하면 되므로 계산 비용을 크게 절감할 수 있다. GrabCut, Berkeley, DAVIS, SBD 데이터셋에서의 실험 결과, 기존 BRS에 비해 클릭당 처리 시간이 수십 배에서 수백 배 낮은 수준으로 새로운 최고 성능을 달성하였다. 코드와 훈련된 모델은 https://github.com/saic-vul/fbrs_interactive_segmentation 에서 공개되어 있다.