要約
私たちは、自由形状のマスクとガイダンスを使用して画像を完成させる生成型画像補完システムを提案します。このシステムは、追加のラベリング作業なしで数百万枚の画像から学習したゲーテッド畳み込みに基づいています。提案されたゲーテッド畳み込みは、すべての入力ピクセルを有効なものとして扱う通常の畳み込みの問題を解決し、部分畳み込みを一般化することにより、各レイヤー全体の各空間位置で各チャンネルに対する学習可能な動的な特徴選択メカニズムを提供します。さらに、自由形状のマスクは画像内の任意の場所に任意の形状で現れる可能性があるため、単一の矩形マスク向けに設計された全局および局所GANは適用できません。そこで、スペクトル正規化された識別子を密な画像パッチに適用するパッチベースのGAN損失であるSN-PatchGANも提案します。SN-PatchGANは式がシンプルで、訓練が速く安定しています。自動的な画像補完とユーザーガイドによる拡張に関する結果は、当システムが以前の方法よりも高品質かつ柔軟な結果を生成することを示しています。当システムはユーザーが邪魔な物体を迅速に削除したり、画像レイアウトを変更したり、透かしを取り除いたり、顔編集を行ったりするのに役立ちます。コード、デモ、モデルは以下のURLから入手可能です: https://github.com/JiahuiYu/generative_inpainting