要約
最近の深層生成型インペイント手法は、アテンション層を用いて生成器が既知領域から特徴パッチを明示的に借用できるようにしている。しかし、欠損領域と既知領域の対応関係に対する教師信号が不足しているため、適切な参照特徴を発見できず、結果にアーティファクトが生じる場合がある。また、推論時に全特徴マップ上でペアワイズ類似度を計算するため、大きな計算負荷が生じる。この問題に対処するため、補助的な文脈再構成タスクを共同学習させることで、アテンションを用いない生成器にこのようなパッチ借用行動を学習させることを提案する。このアプローチにより、周囲の領域によって再構成されたとしても、生成出力が現実的であることを促進する。補助ブランチは、学習可能な損失関数と見なすことができ、文脈再構成（Contextual Reconstruction, CR）損失と呼ばれる。ここで、クエリ-参照特徴の類似度と、参照に基づく再構成器がインペイント生成器とともに共同最適化される。補助ブランチ（すなわちCR損失）は学習時のみ必要であり、推論時にはインペイント生成器のみを用いればよい。実験結果から、本手法は定量的および視覚的性能の両面で、最先端の手法と比較しても優れた結果を示した。コードは https://github.com/zengxianyu/crfill にて公開されている。