多次元エッジ特徴量に基づくAU関係グラフの学習による顔動作単位認識

顔の動作単位（Facial Action Units: AUs）の活性化は互いに影響を与え合う。一対のAUs間の関係は複雑で独特であるが、既存の手法では各表情表示における各AUsペアのこのようなヒントを具体的かつ明示的に表現できていない。本論文では、ターゲットの表情表示における各AUsペア間の関係を明確に説明するための一意なグラフを深層学習によってモデル化する手法を提案する。当手法はまず、各AUの活性化状態と他のAUsとの関連性をノード特徴量として符号化する。次に、各AUsペア間の複数のタスク固有の関係ヒントを記述するために、多次元エッジ特徴量の一対を学習する。ノードおよびエッジ特徴量学習の過程において、当手法は全顔表現を入力として取り入れることで、一意な表情表示がAUs間の関係に及ぼす影響も考慮している。BP4DおよびDISFAデータセットでの実験結果から、ノードおよびエッジ特徴量学習モジュールはCNNやトランスフォーマーに基づくバックボーンに対して大幅な性能向上をもたらすことが示された。最良システムでは最先端のAU認識結果が得られた。当手法はAU認識における関係ヒントモデリングに強い能力を持ちつつ、様々なバックボーンに容易に組み込むことができる。また、PyTorchコードが公開されている。