要約
画像合成における生成対抗ネットワーク（Generative Adversarial Networks: GANs）の成功にもかかわらず、訓練されたGANモデルを実際の画像処理に適用することは依然として課題が多い。従来の方法では、通常、ターゲット画像を潜在空間に逆変換するためにバックプロパゲーションまたは追加のエンコーダーを学習する方法が採用されていた。しかし、これらの方法による再構築は理想的とはほど遠いものであった。本研究では、訓練されたGANモデルを効果的な事前知識として多様な画像処理タスクに組み込む新しい手法であるmGANpriorを提案する。特に、ジェネレータの中間層で複数の潜在コードを使用して複数の特徴マップを生成し、適応的なチャネル重要度によってそれらを組み合わせて入力画像を再構成する手法を取り入れている。このような潜在空間の過剰パラメータ化は画像再構成品質を大幅に向上させ、既存の競合手法を上回る結果を得ている。高忠実度の画像再構成により、訓練されたGANモデルは色付け、超解像化、欠損補完、意味的操作などの多くの実世界アプリケーションでの事前知識として利用可能となる。さらに、GANモデルが学習した階層ごとの表現特性について分析を行い、各階層がどのような知識を持つことができるのかについて考察している。