二重関連エンコーダーを用いた顔の復元

低品質（LQ）画像から顔の詳細を復元することは、様々な劣化によって引き起こされる非正則性（ill-posedness）のため、依然として難問となっています。既存のコードブック事前知識は、高品質（HQ）特徴の自動エンコーダと学習済みコードブックを活用することで、この非正則性を緩和し、著しい品質向上を達成しています。しかし、このパラダイムにおける既存のアプローチは、多くの場合、HQデータで事前に学習された単一のエンコーダに依存してHQ画像を復元することに焦点を当てており、LQ画像とHQ画像間のドメインギャップを見落としています。その結果、LQ入力の符号化が不足することがあり、性能が最適でないことがあります。この問題に対処するために、我々は新しい二つの分岐を持つフレームワークであるDAEFRを提案します。当手法では、補助的なLQ分岐を導入し、LQ入力から重要な情報を抽出します。さらに、二つの分岐間での効果的な協調性を促進するための関連訓練（association training）を取り入れています。これによりコード予測と出力品質が向上します。我々はDAEFRの有効性を合成データセットおよび実世界データセットで評価し、顔の詳細復元において優れた性能を示しています。プロジェクトページ: https://liagm.github.io/DAEFR/