低解像度条件付き画像間翻訳

多くの画像間翻訳手法は、画像がコンテンツ（例：ポーズ）を共有するが、それぞれ固有のドメイン固有情報（スタイルと呼ばれる）を持つという前提のもと、異なるドメイン間のマッピングを学習することに注目している。ターゲット画像を条件として与えた場合、こうした手法はターゲット画像のスタイルを抽出し、それをソース画像のコンテンツと組み合わせることを目的としている。本研究では、ターゲット画像が非常に低解像度である状況を想定する。具体的には、高解像度（HR）のソース画像から細部情報を抽出し、ターゲットの粗い低解像度（LR）表現に適合させるというタスクに焦点を当てる。したがって、本手法はHRとLRの両方の入力から特徴を共有する高解像度画像を生成することを目的としている。従来の手法が特定の画像スタイルをターゲットコンテンツに翻訳することに注力しているのに対し、本手法は、LRターゲットの構造情報を保持しつつ、同時にそのスタイルを模倣する能力を備えている。本アプローチは、生成モデルを訓練して、以下の2つの条件を満たすHRターゲット画像を生成することに依拠している：1）関連するソース画像の特徴的な情報を共有する；2）ダウンスケーリングした際にLRターゲット画像と正確に一致する。CelebA-HQおよびAFHQデータセットを用いた実験により、視覚的品質、多様性、カバレッジの観点から、本手法が優れた性能を発揮することを検証した。定性的および定量的な評価結果から、ドメイン内画像翻訳において、Stargan-v2を含む最先端手法と比較して、本手法はより現実的なサンプルを生成できることを示した。