要約
最新の深層学習に基づく手法は、画像の欠損領域を補完するという難問に対して有望な結果を示しています。しかし、既存の方法では、局所ピクセルの非連続性により、生成されるコンテンツがぼやけたテクスチャや歪んだ構造を持つことがよくあります。セマンティックレベルでの視点から見ると、この局所ピクセルの非連続性は主にこれらの手法が穴領域のセマンティック関連性と特徴量の連続性を無視しているためです。この問題に対処するために、人間が写真を修復する際の行動を調査し、新しい一貫したセマンティックアテンション（Coherent Semantic Attention: CSA）層を備えた精緻な深層生成モデルに基づく手法を提案します。この手法は、コンテキスト構造を保ちつつ、穴領域間のセマンティック関連性をモデル化することで欠損部分のより効果的な予測を行うことができます。タスクは粗補正と精補正の2段階に分けられ、それぞれU-Netアーキテクチャに基づくニューラルネットワークでモデリングされます。ここで、CSA層は精補正ステップのエンコーダに埋め込まれています。ネットワーク訓練プロセスの安定化とCSA層がより効果的なパラメータを学習するよう促すために、一貫性ロスを提案します。これにより、CSA層とデコーダ内の対応するCSA層が同時にGround Truth画像のVGG特徴量層に近づくように強制されます。CelebA, Places2, およびParis StreetViewデータセットにおける実験結果は、我々が提案した手法が画像補完タスクにおいて有効であり、既存の最先端手法よりも高品質な画像を得られることが確認されました。