要約
ヒートマップ回帰に基づく深層学習モデルは、顔ランドマークの位置特定というタスクに革命をもたらした。現在のモデルは、大規模な姿勢変化、不均一な照明条件や影、遮蔽および自己遮蔽、低解像度、ぼやけといった困難な条件下でも堅牢に動作することが確認されている。しかし、こうしたモデルが広く採用されている一方で、ヒートマップの符号化および復号プロセスにおける離散化に起因する誤差という課題を抱えている。本研究では、これらの誤差が顔のアライメント精度に予想外に大きな悪影響を及ぼしていることを明らかにした。この問題を緩和するために、ヒートマップの符号化・復号プロセスを、背後にある連続分布を活用することで新たに提案する。さらに、この新しく提案された符号化・復号機構の効果を最大限に引き出すため、幾何学的画像変換（回転、スケーリング、平行移動など）に対してヒートマップの一貫性を強制するシメイジ型学習手法を導入した。本手法は、複数のデータセットにおいて顕著な性能向上を達成し、顔ランドマーク位置特定の分野において新たなSOTA（状態の最良）結果を樹立した。実装コードおよび事前学習済みモデルは、https://www.adrianbulat.com/face-alignment にて公開される予定である。