11日前
InfinityGAN:無限ピクセル画像合成への道
Chieh Hubert Lin, Hsin-Ying Lee, Yen-Chi Cheng, Sergey Tulyakov, Ming-Hsuan Yang

要約
本稿では、任意サイズの画像生成を実現する新しいフレームワーク「InfinityGAN」を提案する。このタスクにはいくつかの重要な課題が伴う。第一に、既存のモデルを任意の大規模な画像サイズにスケーリングするには、計算リソースおよび大視野の訓練データの可用性という点で制約がある。InfinityGANは、低計算リソースでシームレスなピース単位の学習と推論を可能にすることで、この課題を克服する。第二に、大規模な画像は局所的・全体的に一貫性を持ち、繰り返しパターンを避け、現実的な外観を持つ必要がある。これを解決するため、InfinityGANはグローバルな外観、局所的な構造、テクスチャを分離(ディセントレート)するアプローチを採用している。この定式化により、従来では達成できなかった空間的サイズおよび詳細度の高い画像生成が可能となる。実験評価の結果、InfinityGANはベースラインと比較して優れた現実性を有する画像を生成し、並列推論が可能な点も確認された。最後に、本手法によって可能になるいくつかの応用例を示す。具体的には、空間的スタイルの融合、マルチモーダルなアウトペインティング(外側の補完)、画像のインバーティング(中間画像生成)などである。これらの応用は、入力・出力のサイズが任意であることを前提として動作可能である。論文の完全版は、https://openreview.net/forum?id=ufGMqIM0a4b にて公開されている。