17일 전

트리맵 가이드 특징 마이닝 및 융합 네트워크를 활용한 자연 이미지 매팅

Weihao Jiang, Dongdong Yu, Zhaozhi Xie, Yaoyi Li, Zehuan Yuan, Hongtao Lu
트리맵 가이드 특징 마이닝 및 융합 네트워크를 활용한 자연 이미지 매팅
초록

트림패(Trimap) 기반의 픽셀 단위 예측 마팅(Matting)에서 트림패 가이던스 활용과 다중 수준 특징 융합은 두 가지 중요한 과제이다. 트림패 가이던스를 효과적으로 활용하기 위해 기존의 대부분의 접근 방식은 트림패와 이미지를 단순히 연결하여 딥 네트워크에 입력하거나, 추가적인 네트워크를 도입하여 더 풍부한 트림패 가이던스를 추출하는 방식을 사용한다. 그러나 이러한 방식은 효율성과 효과성 사이의 갈등을 야기한다. 또한 최근 등장한 콘텐츠 기반 특징 융합 기법에 있어서, 기존의 대부분의 마팅 방법은 국소적 특징에만 집중하며, 관심 객체와 관련된 강력한 의미 정보를 지닌 전역적 특징의 가이던스를 결여하고 있다. 본 논문에서는 트림패 가이던스 기반의 특징 탐색 및 융합 네트워크인 TMFNet을 제안한다. 이는 본 연구에서 제안한 트림패 가이던스 기반의 비백그라운드 다중 스케일 풀링(TMP) 모듈과 전역-국소적 맥락 인지형 융합(GLF) 모듈로 구성된다. 트림패가 강력한 의미적 가이던스를 제공한다는 점을 고려하여, TMP 모듈은 추가적인 파라미터 없이 트림패의 지시에 따라 관심 객체에 집중된 효과적인 특징 탐색을 수행한다. 또한, GLF 모듈은 TMP 모듈을 통해 탐색된 관심 객체의 전역적 의미 정보를 활용하여, 효과적인 전역-국소적 맥락 인지형 다중 수준 특징 융합을 유도한다. 더불어, 고품질 이미지 마팅 기술의 발전을 위해 일반적인 관심 객체 마팅(CIOM) 데이터셋을 구축하였다. 특히 Composition-1k 및 본 연구의 CIOM 데이터셋에서의 실험 결과, 강력한 기준 모델 대비 본 연구의 TMFNet은 파라미터 수가 적고, FLOPs가 14% 적은 조건에서 SAD 지표에서 각각 13%, 25%의 상대적 개선을 달성하였다. Composition-1k 테스트 세트, Alphamatting 벤치마크, 그리고 본 연구의 CIOM 테스트 세트에서의 실험 결과를 통해, 제안한 방법이 최신 기술들을 초월함을 입증하였다. 본 연구의 코드와 모델은 https://github.com/Serge-weihao/TMF-Matting 에서 공개되어 있다.