2ヶ月前

潜在空間と画像空間の整合を図り、接続不可能なものを持ちつなげる

Skorokhodov, Ivan ; Sotnikov, Grigorii ; Elhoseiny, Mohamed
潜在空間と画像空間の整合を図り、接続不可能なものを持ちつなげる
要約

本研究では、多様で複雑な内容を持つ無限の高解像度画像を生成する方法を開発しました。この方法は、画像空間と潜在空間での同期補間を用いた完全等方性ジェネレータに基づいています。サンプリングされた潜在コードは座標グリッド上に配置され、各ピクセルは近傍のスタイルコードの補間から計算されます。私たちはAdaINメカニズムをこのような設定で動作させるために改良し、ジェネレータを敵対的な環境で訓練して、任意の2つの潜在ベクトル間に位置する画像を生成できるようにしました。テスト時には、これにより複雑で多様な無限の画像を生成し、任意の2つの関連性のないシーンを単一の任意の大規模なパノラマに接続することが可能になります。また、LHQ(\lhqsize の高解像度自然風景データセット)という新しいデータセットを導入しました。当該手法はLHQ、LSUN Tower、およびLSUN Bridgeに対して試験され、生成される無限の画像の品質と多様性においてベースラインを超える少なくとも4倍以上の性能を示しました。プロジェクトページは https://universome.github.io/alis にあります。