2달 전

MODNet: 목적 분해를 통한 실시간 트리맵 없는 포트레이트 매팅

Zhanghan Ke; Jiayu Sun; Kaican Li; Qiong Yan; Rynson W.H. Lau
MODNet: 목적 분해를 통한 실시간 트리맵 없는 포트레이트 매팅
초록

기존의 인물 마팅 방법들은 보조 입력이 필요하여 비용이 많이 들거나, 계산적으로 비용이 많이 드는 여러 단계를 포함하여 실시간 응용에 적합하지 않았습니다. 본 연구에서는 단일 입력 이미지를 사용하여 실시간으로 인물 마팅을 수행할 수 있는 경량화된 마팅 목적 분해 네트워크(MODNet, Matting Objective Decomposition Network)를 제시합니다. 우리의 효율적인 설계의 핵심 아이디어는 명시적 제약 조건을 통해 여러 하위 목표들을 동시에 최적화하는 것입니다. 또한, MODNet은 모델의 효율성과 견고성을 향상시키기 위한 두 가지 혁신적인 기술을 포함하고 있습니다. 첫째, 다중 스케일 특징을 융합하여 의미론적 추정을 수행하기 위해 효율적인 아트루스 스페이셜 피라미드 풀링(e-ASPP, Efficient Atrous Spatial Pyramid Pooling) 모듈이 도입되었습니다. 둘째, 트리맵(trimap)이 없는 방법에서 일반적으로 발생하는 도메인 시프트 문제를 해결하기 위해 자기 감독 하위 목표 일관성(SOC, Self-Supervised Sub-Objectives Consistency) 전략이 제안되었습니다. MODNet은 엔드투엔드 방식으로 쉽게 훈련될 수 있으며, 1080Ti GPU에서 초당 67 프레임으로 실행됩니다. 실험 결과, MODNet은 Adobe Matting 데이터셋과 우리에게 의해 제안된 정교하게 설계된 사진 인물 마팅(Portrait Photo Matting, PPM-100) 벤치마크에서 이전의 트리맵 없는 방법들보다 크게 우수한 성능을 보였습니다. 더불어, MODNet은 일상 사진과 동영상에서도 뛰어난 결과를 달성하였습니다. 우리의 코드와 모델은 https://github.com/ZHKKKe/MODNet에서 확인할 수 있으며, PPM-100 벤치마크는 https://github.com/ZHKKKe/PPM에서 제공됩니다.

MODNet: 목적 분해를 통한 실시간 트리맵 없는 포트레이트 매팅 | 최신 연구 논문 | HyperAI초신경