전역 인식 커널을 활용한 이미지 조화 학습

이미지 조화(Image Harmonization)는 배경을 기준으로 전경 픽셀을 적응적으로 조정하여 합성 이미지에서 시각적 일관성 문제를 해결하는 것을 목표로 합니다. 기존 방법들은 전경과 배경 간의 지역 색상 변환 또는 영역 맞춤을 사용하지만, 이는 강력한 근접 사전 정보를 무시하고 조화를 위해 전체 부분으로서 독립적으로 전경/배경을 구분합니다. 그 결과, 다양한 전경 객체와 장면에 대해 여전히 제한된 성능을 보입니다. 이러한 문제를 해결하기 위해, 우리는 새로운 글로벌 인식 커널 네트워크(Global-aware Kernel Network, GKNet)를 제안합니다. 이 네트워크는 장거리 배경 참조를 종합적으로 고려하여 지역 영역을 조화시키는 데 사용됩니다.구체적으로, GKNet은 두 부분으로 구성되며, 즉, 조화 커널 예측 및 조화 커널 변조 분야입니다. 전자는 장거리 참조 추출기(Long-distance Reference Extractor, LRE)를 포함하여 장거리 문맥을 획득하고, 글로벌 정보와 지역 특성을 융합하여 다수준의 조화 커널을 예측하는 커널 예측 블록(Kernel Prediction Blocks, KPB)을 포함합니다. 이를 달성하기 위해, 새로운 선택적 상관 융합(Selective Correlation Fusion, SCF) 모듈이 제안되어 지역 조화에 더 적합한 장거리 배경 참조를 선택할 수 있도록 합니다. 후자는 예측된 커널을 사용하여 지역과 글로벌 인식 모두를 갖춘 전경 영역을 조화시킵니다.풍부한 실험 결과가 우리의 방법이 최신 기술(state-of-the-art methods)보다 우수함을 입증하며, 예를 들어 39.53dB PSNR 값을 얻어 가장 좋은 대응 기법보다 +0.78dB $\uparrow$ 향상되었으며, SoTA(SoTA method) 기법과 비교해 fMSE/MSE 값을 각각 11.5\%$\downarrow$/6.7\%$\downarrow$ 감소시켰습니다. 코드는 \href{https://github.com/XintianShen/GKNet}{여기}에서 제공될 것입니다.