Command Palette
Search for a command to run...
ExpNet:ランドマークフリーな深層学習による3次元顔面表情解析
ExpNet:ランドマークフリーな深層学習による3次元顔面表情解析
概要
3次元顔面表情係数を推定する深層学習に基づく手法を提案する。従来の手法とは異なり、本手法は顔の特徴点検出を中間プロセスとして用いない。近年の研究では、画像輝度値から直接、正確かつ識別性の高い3次元可変顔モデル(3DMM)表現を回帰できるようにCNNを学習することが示されている。顔の特徴点検出を省略することで、従来にない自然な環境下における被覆された顔の形状も推定可能となった。本研究では、これらの手法を発展させ、顔面表情も堅牢かつ深層的で特徴点に依存しないアプローチによって推定可能であることを示す。提案するExpNet CNNは、顔画像の輝度値を直接入力とし、29次元の3次元表情係数ベクトルを回帰する。本ネットワークの学習に向けたデータ収集方法も独自に提案しており、深層ネットワークがラベルノイズに対して高い耐性を有することを活用している。さらに、推定された表情係数の精度を評価するための新規な手法を提示する。具体的には、CK+およびEmotiW-17の感情認識ベンチマーク上で、推定された係数が顔面感情をどれだけ正確に捉えているかを測定する。実験結果から、本手法が最先端の特徴点検出手法を用いた場合と比較して、顔面感情の識別性能が優れていることが明らかになった。特に、画像スケールが小さくなるほどその優位性が増すことが示され、ExpNetが特徴点検出法よりもスケール変化に対してより堅牢であることを示している。最終的に、同等の精度を達成する条件下で、本手法は代替手法と比較して桁違いに高速であることが確認された。