高解像度画像のインペイントにおける反復的信頼度フィードバックとガイド付きアップサンプリング

現行の画像補完手法は、実用的な状況における大規模な欠損領域に対処する際に、しばしばアーティファクトを生じる。この課題に対処するため、フィードバック機構を備えた反復的補完手法を提案する。具体的には、補完結果だけでなく、対応する信頼度マップ（confidence map）を出力する深層生成モデルを導入する。この信頼度マップをフィードバックとして用いることで、各反復ステップにおいて穴領域内の高信頼度ピクセルのみを信頼し、補完を進める。次に、残存する低信頼度領域に焦点を当てる。このプロセスでは、前の反復ステップで得られた部分的な予測結果を既知のピクセルとして再利用するため、結果が段階的に改善される。さらに、高解像度の補完結果を生成可能とするガイド付きアップサンプリングネットワークを提案する。これは、入力画像内の高解像度特徴パッチを借用するように、コンテキストアテンションモジュールを拡張することで実現する。また、現実のオブジェクト削除シナリオを再現するため、大規模なオブジェクトマスクデータセットを収集し、ユーザー入力により近いリアルなトレーニングデータを合成する。実験の結果、定量的および定性的な評価において、既存手法を顕著に上回ることを確認した。詳細な結果およびWebアプリケーションは、https://zengxianyu.github.io/iic にて公開されている。