Super-FAN: 実世界の任意の姿勢における低解像度顔画像の統合的なランドマーク位置特定と超解像処理をGANsを用いて実現

本論文は2つの課題に取り組んでいます。1つ目は低解像度の顔画像の品質を向上させること、2つ目はそのような低解像度の画像上で顔のランドマークを正確に特定することです。これらの課題に対処するため、以下の5つの貢献を行いました。(a) 我々はSuper-FANを提案します。これは初めて両方の課題を同時に解決するエンドツーエンドシステムであり、顔の解像度を向上させるとともに顔のランドマークを検出します。Super-FANの新規性は、ヒートマップ回帰を通じた顔アライメント用サブネットワークを統合し、新しいヒートマップ損失関数を最適化することで、GANベースの超解像度アルゴリズムに構造情報を組み込む点にあります。(b) 2つのネットワークを共同で学習することによる利点について説明します。具体的には、前向き画像だけでなく全範囲の顔ポーズ（先行研究では前向き画像のみ）において良好な結果を得ていること、合成された低解像度画像だけでなく実世界の画像（先行研究では合成された低解像度画像のみ）でも良好な結果を得ていることを報告しています。(c) 新しい残差ベースのアーキテクチャを提案することで、顔超解像度における最先端技術を超える成果を上げました。(d) 定量的に評価した結果、顔超解像度とアライメントにおいても既存の最先端技術に対して大幅な改善が見られました。(e) 定性的には、実世界の低解像度画像において初めて良好な結果を得たことを示しました。