2달 전

깊이 인식 기반 얼굴 속성 전송

Mu Li; Wangmeng Zuo; David Zhang
깊이 인식 기반 얼굴 속성 전송
초록

본 논문은 얼굴 속성의 인식-인식 전송(Identity-Aware Transfer, DIAT)을 위한 딥 컨볼루션 네트워크 모델을 제시합니다. 소스 입력 이미지와 참조 속성이 주어질 때, DIAT는 참조 속성을 가지면서도 입력 이미지와 동일하거나 유사한 정체성을 유지하는 얼굴 이미지를 생성하는 것을 목표로 합니다. 일반적으로, 우리의 모델은 마스크 네트워크와 속성 변환 네트워크로 구성되며, 이 두 네트워크가 시너지 효과를 발휘하여 참조 속성을 가진 사진 같은 얼굴 이미지를 생성합니다. 참조 속성이 이미지의 일부 영역에만 관련될 수 있다는 점을 고려하여, 마스크 네트워크는 속성과 무관한 영역에서의 잘못된 편집을 피하기 위해 도입되었습니다. 그런 다음 추정된 마스크는 입력 이미지와 변환된 이미지를 결합하여 전송 결과를 생성하는 데 사용됩니다. 변환 네트워크와 마스크 네트워크의 공동 학습을 위해 우리는 적대적 속성 손실, 정체성 인식 적응적 지각 손실, 그리고 VGG-FACE 기반 정체성 손실을 통합하였습니다. 또한, 전송 결과에서 발생할 수 있는 잡음을 억제하기 위한 지각 규제화를 수행하는 노이즈 제거 네트워크를 제시하였으며, 속성 관련 영역의 크기를 제약하기 위한 속성 비율 규제화를 도입하였습니다. 우리의 DIAT는 표정 전송, 액세서리 제거, 나이 진행, 성별 전송 등의 여러 대표적인 얼굴 속성 전송 작업에 대한 통합적인 해결책을 제공하며, 얼굴 환상화(Face Hallucination) 등 다른 얼굴 강화 작업에도 확장될 수 있습니다. 실험 결과는 제안된 방법의 유효성을 입증합니다. 심지어 정체성과 밀접하게 관련된 속성(예: 성별)에서도 우리의 DIAT는 대부분의 정체성 인식 특징을 유지하면서 속성을 변경하여 시각적으로 인상적인 결과를 얻을 수 있었습니다.

깊이 인식 기반 얼굴 속성 전송 | 최신 연구 논문 | HyperAI초신경