大規模画像補完における共調節型生成対抗ネットワーク

画像補完を目的とした条件付き生成対抗ネットワーク（conditional generative adversarial networks）の多数のタスク固有の変種が開発されてきたが、依然として深刻な限界が存在する。すなわち、既存のすべてのアルゴリズムは大規模な欠損領域を処理する際に失敗しやすいという点である。この課題を克服するために、本研究では、条件付き表現と確率的スタイル表現の両方を共同で調節（co-modulation）する新しい汎用的手法を提案する。これにより、画像条件付きアーキテクチャと最近のモジュレート型無条件生成アーキテクチャの間のギャップを埋めることを実現した。さらに、画像補完の評価に適した良好な定量的指標が不足していることから、本研究では、特徴空間における線形分離可能性を用いて、補完画像の知覚的忠実度を実画像と比較して堅牢に評価する新しい指標、Paired/Unpaired Inception Discriminative Score（P-IDS/U-IDS）を提案する。実験結果により、自由形式画像補完において、最先端手法と比較して優れた品質と多様性を示すことが確認された。また、画像から画像への翻訳への容易な一般化も実現した。コードは以下のURLで公開されている：https://github.com/zsyzzsoft/co-mod-gan。