의미 기반 사람 매팅(Semantic Human Matting)

인물 매팅은 자연 이미지에서 인간을 고품질로 추출하는 기술로, 다양한 응용 분야에서 중요한 역할을 합니다. 매팅 문제는 극도로 제약이 부족하기 때문에, 대부분의 이전 방법들은 사용자가 지정한 트리맵이나 스케블을 제약 조건으로 사용하도록 요구합니다. 이러한 사용자 참여 방식은 대규모 데이터나 시간이 민감한 상황에 적용하기 어렵습니다. 본 논문에서는 명시적인 사용자 입력 제약 조건을 사용하지 않고, 데이터에서 학습된 암묵적 의미 제약 조건을 활용하여 자동 인물 매팅 알고리즘(SHM)을 제안합니다. SHM는 딥 네트워크를 통해 의미 정보와 고품질 세부 사항을 동시에 학습하는 최초의 알고리즘입니다. 실제로, 코스 시맨틱과 세부 사항을 동시에 학습하는 것은 어려운 문제입니다. 우리는 이를 해결하기 위해 새로운 융합 전략을 제안하는데, 이 전략은 알파 매트의 확률적 추정치를 자연스럽게 제공합니다. 또한, 우리는 고품질 주석이 포함된 35,513개의 고유한 전경 이미지를 포함하는 매우 큰 데이터셋을 구축하여 인물 매팅의 학습과 평가를 돕습니다. 이 데이터셋과 많은 실제 이미지에 대한 광범위한 실험 결과, SHM는 최신 상호작용형 매팅 방법들과 유사한 결과를 달성함을 보여주었습니다.