要約
顔の表情は顔面筋肉の収縮に関連しており、異なる筋肉の動きが異なる感情状態に対応します。微表情認識においては、これらの筋肉の動きは通常微妙であるため、現在の顔面感情認識アルゴリズムの性能に悪影響を及ぼすことがあります。既存の多くの手法では、系列内のトークン間の関係を捉えるために自己注意機構を使用していますが、顔面ランドマーク間の固有の空間的な関係を考慮していないため、微表情認識タスクでの性能が最適でない場合があります。したがって、顔面筋肉の動きを認識することは、微表情認識分野における重要な課題となっています。本論文では、階層的トランスフォーマーネットワーク（HTNet）を提案し、顔面筋肉運動の重要な領域を特定することを目指しています。HTNetには2つの主要な構成要素が含まれています：ローカル時系列特徴を利用するトランスフォーマーレイヤーと、ローカルおよびグローバルな意味的な顔面特徴を抽出する集約レイヤーです。具体的には、HTNetは顔を4つの異なる領域に分割します：左唇周辺領域、左目周辺領域、右目周辺領域および右唇周辺領域。トランスフォーマーレイヤーは各領域でローカルな自己注意機構を使用して、ローカルな小さな筋肉運動を表現するために使用されます。集約レイヤーは眼周辺領域と唇周辺領域間の相互作用を学習するために使用されます。4つの公開されている微表情データセットでの実験結果から、提案手法が以前の方法よりも大幅に優れていることが示されました。コードとモデルは以下のURLから入手可能です：\url{https://github.com/wangzhifengharrison/HTNet}