グローバル意識を持つカーネルの学習による画像調和

画像調和の目的は、合成画像における視覚的な一貫性の問題を解決するために、背景を基準として前景ピクセルを適応的に調整することである。既存の手法では、局所色変換や前景と背景間の領域マッチングが用いられているが、強力な近接事前情報を見落とし、調和のために前景と背景を独立して全体的な部分として区別している。その結果、多様な前景オブジェクトやシーンに対して限られた性能しか示していない。この課題に対処するため、我々は新たなグローバル意識型カーネルネットワーク（GKNet）を提案する。GKNetは、調和カーネル予測および調和カーネル変調ブランチという2つの部分から構成される。前者には長距離参照抽出器（Long-distance Reference Extractor: LRE）が含まれており、これにより長距離コンテキストを取得し、さらにカーネル予測ブロック（Kernel Prediction Blocks: KPB）によって全局情報を局所特徴と融合させて多段階の調和カーネルを予測する。この目標達成のために、新たな選択的相関融合モジュール（Selective Correlation Fusion: SCF）が提案され、局所調和に適した関連性のある長距離背景参照を選択するために用いられる。後者では予測されたカーネルを使用して、局所意識と全局意識の両方で前景領域を調和させる。豊富な実験結果により、我々の方法が最先端手法よりも優れた画像調和性能を持つことが示されている。例えば、39.53dBのPSNR値を達成しており、最良の競合手法に比べて+0.78dB向上している；fMSE/MSEもSoTA手法に比べて11.5\%減少/6.7\%減少している。コードは \href{https://github.com/XintianShen/GKNet}{こちら} で公開される予定である。注：「\ie」は「つまり」と訳し、「\eg」は「例えば」と訳しています。「$\uparrow$」と「$\downarrow$」はそれぞれ「向上」、「減少」と解釈しました。また、「SoTA」は一般的に「State-of-the-Art」の略であり、「最先端」と訳しました。