深層ニューラルネットワークの拡張：感情分析用の顔画像生成

本論文では、顔の感情表現を合成する新しい手法を提案します。この手法は、6つの基本的な表情（すなわち、怒り、嫌悪、恐怖、喜び、悲しみ、驚き）または価値感（すなわち、感情がどれだけ肯定的か否定的か）と覚醒度（すなわち、感情の活性化の強さ）に基づいて合成することができます。提案された手法は以下の入力を受け付けます：i) 中立的な2D画像；ii) 生成されるべき基本的な顔表情または価値感-覚醒度(VA)感情状態記述子のペア、または2D VA空間における感情経路を画像シーケンスとして生成します。この人物のVAに基づく感情合成のために、4DFABデータベースから$600,000$フレームが注釈されました。感情合成は中立的な画像に3D変形モデルを適合させることで実装され、再構築された顔に入力された感情を追加し、新しい顔と元の画像を組み合わせることで行われます。定性的実験では、Aff-Wild, AffectNet, RAF-DBなど13個の有名なラボ制御下または自然環境下でのデータベースからサンプリングした中立的な画像を使用して現実的な画像が生成されることを示しています。また、Generative Adversarial Networks (GANs)との比較では提案手法により高い品質が達成されていることが示されています。次に定量的実験を行い、合成された画像を使用してDeep Neural Networksによる感情認識のためのデータ拡張を行いました。その結果、すべてのデータベースにおいて既存の最先端手法やGANに基づくデータ拡張と比較して大幅に性能が向上することが確認されました。