장거리 특징 전파를 통한 자연 이미지 마팅

자연 이미지 마팅은 트리마프의 알파 값을 추정하는 작업이다. 최근에는 딥러닝 기반의 방법들이 알파 값을 알려진 영역에서 유사도 기반으로 알 수 없는 영역으로 전파하는 방식을 사용하고 있다. 그러나 본 연구에서는 일반적인 합성곱 신경망(Convolutional Neural Networks)의 제한된 유효 수용 영역(Effective Receptive Fields)으로 인해 알 수 없는 영역 내 50% 이상의 픽셀이 알려진 영역의 픽셀과 관련이 없음을 발견하였다. 이로 인해 수용 영역 내 픽셀들만으로는 알 수 없는 영역의 픽셀을 정확히 추론할 수 없어, 결과적으로 알파 값을 정확히 추정하기 어려운 문제가 발생한다. 이 문제를 해결하기 위해 우리는 수용 영역 외부의 장거리 맥락 특징(Long-Range Context Features)을 학습하여 알파 마팅 추정에 활용하는 Long-Range Feature Propagating Network(LFPNet)을 제안한다. 구체적으로, 먼저 다운샘플링된 이미지에서 맥락 특징을 추출하는 전파 모듈(Propagating Module)을 설계하였다. 그 다음, 주변 맥락 이미지 패치에서 중심 이미지 패치로 맥락 특징을 명시적으로 전파하는 Center-Surround Pyramid Pooling(CSPP)을 제안하였다. 마지막으로, 이미지, 트리마프 및 맥락 특징을 입력으로 받아 알파 마팅을 추정하는 마팅 모듈(Matting Module)을 사용하였다. 실험 결과, 제안한 방법은 AlphaMatting 및 Adobe Image Matting 데이터셋에서 최신 기술 대비 우수한 성능을 보였다.