要約
本研究では、制約のない姿勢と非常に低解像度（顔のサイズは最小で5pxIOD）を持つ顔画像のホールシネーションに向けた新しいフレームワークを提案します。既存の研究が主に顔の空間構成（例えば、顔のランドマーク位置決めや密集対応フィールド）を無視または事前に整列すると仮定しているのに対し、我々は統一されたフレームワーク内で顔ホールシネーションと密集対応フィールド推定という2つの補完的なタスクを交互に最適化します。さらに、異なるレベルのテクスチャ詳細を復元するための2つの機能専門ブランチを含む新しいゲート付き深層バイネットワークを提案します。広範な実験結果から、この手法が野生環境下での低解像度顔画像において、著しい姿勢や照明変動にもかかわらず優れたホールシネーション品質を達成できることを示しています。