学習可能な双方向アテンションマップを用いた画像補完

多くの畳み込みニューラルネットワーク（CNN）ベースの欠損補完手法は、標準的な畳み込みを採用し、有効なピクセルと穴を区別せずに扱うため、不規則な穴の処理に制限があり、色の不一致やぼけた補完結果が生成されやすいという問題があります。部分畳み込みはこの問題に対処するために提案されてきましたが、手動で特徴量再正規化を行い、前向きマスク更新のみを考慮しています。本論文では、端から端まで学習可能な注意マップモジュールを提案します。このモジュールは特徴量再正規化とマスク更新を学習可能にし、不規則な穴への適応と畳み込み層の伝播に効果的です。さらに、学習可能な逆方向注意マップを導入することで、U-Netのデコーダーが穴埋めに集中し、穴と既知領域の両方を再構成する必要がないようにしました。これにより、我々の学習可能な双方向注意マップが実現します。定性的および定量的な実験結果は、我々の手法が最新技術に対して優れた性能を示しており、よりシャープで一貫性があり視覚的に自然な欠損補完結果を生成することが確認されました。ソースコードおよび事前学習済みモデルは公開される予定です。