要約
顔面の行動単位（Action Unit, AU）検出分野において、領域学習（Region Learning, RL）と多ラベル学習（Multi-label Learning, ML）が近年注目を集めている。AUは顔面の局所的な領域にのみ発現するため、RLはそれらの関連領域を特定することで検出の特異性を向上させることを目的としている。一方、AU間の強い統計的相関が示唆するように、MLは検出タスクを自然にモデル化する手法である。本研究では、これら二つの課題を同時に解決する統合型ディープネットワーク「Deep Region and Multi-label Learning（DRML）」を提案する。DRMLの重要な特徴の一つとして、前向き伝播関数を用いて顔面の重要領域を誘導する新しい領域層（region layer）を導入している。この領域層は、学習された重みが顔の構造的特徴を捉えるように強制することで、局所接続層（個々の画素に限定されたカーネル）と従来の畳み込み層（画像全体に共有されるカーネル）の間の代替的設計を実現している。従来の研究がRLとMLを交互に処理していたのに対し、DRMLは構造的に両者を同時に扱うため、一見無関係に思える二つの問題がより直接的に相互作用可能となる。本ネットワークはエンドツーエンドで学習可能であり、局所領域内に内在する変動に対して堅牢な表現を自動的に学習する。BP4DおよびDISFAベンチマークにおける実験結果から、他の手法と比較して、DRMLはデータセット内および跨データセットにおいて最高の平均F1スコアおよびAUCを達成した。