PHNet: 초상화 조화를 위한 패치 기반 정규화

복합 이미지의 일반적인 문제는 전경과 배경 구성 요소 간의 호환성 부족입니다. 이미지 조화(Image Harmonization)는 이 문제를 해결하여 전체 이미지가 더 자연스럽고 일관적으로 보이도록 하는 것을 목표로 합니다. 기존의 대부분 솔루션은 복합 이미지의 다양한 속성을 활용하여 룩업 테이블(LUTs)을 예측하거나 이미지를 재구성합니다. 최근 접근 방식은 주로 정규화(Normalization)와 색상 곡선 렌더링(Color Curve Rendering) 같은 전역 변환을 사용하여 시각적 일관성을 달성하는 데 초점을 맞추고 있으며, 종종 국부적인 시각적 일관성의 중요성을 간과하고 있습니다.우리는 새로운 패치 기반 조화 네트워크를 제안합니다. 이 네트워크는 혁신적인 패치 기반 정규화(Patch-based Normalization, PN) 블록과 통계적 색상 전송(Statistical Color Transfer)을 기반으로 하는 특징 추출기로 구성되어 있습니다. 광범위한 실험을 통해 이 네트워크가 다양한 도메인에서 높은 일반화 능력을 보임을 입증하였습니다. 우리의 네트워크는 iHarmony4 데이터셋에서 최고 수준의 결과를 달성하였으며, 또한 FFHQ를 기반으로 새로운 인간 초상화 조화 데이터셋을 생성하여 제안된 방법이 최상의 메트릭을 얻어 일반화 능력을 확인하였습니다.벤치마크 실험은 제안된 패치 기반 정규화 블록과 특징 추출기가 초상화 조화 능력을 효과적으로 개선함을 확인하였습니다. 우리의 코드와 모델 베이스라인은 공개적으로 이용 가능합니다.