2ヶ月前

In2I: 監督なしマルチイメージ間変換を用いたジェネラティブアドバーザリアルネットワークによる画像翻訳

Pramuditha Perera; Mahdi Abavisani; Vishal M. Patel
In2I: 監督なしマルチイメージ間変換を用いたジェネラティブアドバーザリアルネットワークによる画像翻訳
要約

非監督画像対画像変換において、目標は一連のペアリングされていない訓練画像を使用して、入力画像と出力画像の間のマッピングを学習することである。本論文では、非監督画像対画像変換問題を複数入力設定に拡張する手法を提案する。複数モダリティから得られる一連のペアリングされた画像が与えられた場合、指定されたドメインへの変換を行うための変換を学習する。この目的のために、生成敵対ネットワーク(Generative Adversarial Network, GAN)に基づくフレームワークと多様なモダリティに対応したジェネレータ構造、および新たな損失項である潜在一貫性損失(latent consistency loss)を導入する。様々な実験を通じて、複数の入力を活用することで一般的に翻訳された画像の視覚的品質が向上することを示す。さらに、提案手法が現在の最先端の非監督画像対画像変換手法よりも優れていることを示す。

In2I: 監督なしマルチイメージ間変換を用いたジェネラティブアドバーザリアルネットワークによる画像翻訳 | 最新論文 | HyperAI超神経