QCS: 四重類似性からの特徴洗練による表情認識

顔表情認識において、データセット内のラベル付き重要な特徴量がラベルなしの冗長な特徴量と混在しているという課題があります。本論文では、画像ペアからより豊かな内在情報を抽出するためのクロス類似度注意（Cross Similarity Attention: CSA）を導入します。これは、ViTのスケーリングドット積注意（Scaled Dot-Product Attention）を直接適用して2つの異なる画像間の類似度を計算する際の制限を克服することを目的としています。CSAに基づいて、複数のブランチ間の相互作用を通じて、微細な特徴レベルでクラス内差異を最小化し、クラス間差異を最大化します。コントラスト残差蒸留（Contrastive Residual Distillation）は、クロスモジュールで学習した情報をベースネットワークに戻すために利用されます。我々は巧妙に4つのブランチを持つ中心対称ネットワークであるクアドラプレットクロス類似度（Quadruplet Cross Similarity: QCS）を設計しました。このネットワークはクロスモジュールから生じる勾配の衝突を緩和し、バランスの取れた安定した訓練を実現します。また、判別的な特徴量を適応的に抽出しながら冗長な特徴量を取り除くことができます。クロス注意モジュールは訓練中に存在し、推論時には1つのベースブランチのみが保持されるため、推論時間には増加がありません。広範な実験により、提案手法がいくつかのFERデータセットにおいて最先端の性能を達成することが示されました。