プロトタイプに基づく曖昧なサンプルの校正に関する微細動作認識

マイクロアクション認識（MAR）は、社会的な交流における非言語コミュニケーションの重要な形態として、その役割から注目を集めています。人間のコミュニケーションや感情分析への応用においても有望な可能性を秘めています。しかし、現在のアプローチでは、広範なカテゴリー範囲とカテゴリー間の微妙な視覚的違いから生じるマイクロアクションの固有の曖昧性がしばしば見落とされています。この見落としは、マイクロアクション認識の精度を阻害しています。本論文では、新しいプロトタイプ調整曖昧ネットワーク（PCAN: Prototypical Calibrating Ambiguous Network）を提案します。このネットワークは、MARの曖昧性を解消し、軽減することを目指しています。まず、階層的なアクションツリーを使用して曖昧なサンプルを特定し、身体レベルと行動レベルの両方のカテゴリーを考慮しながら、偽陰性と偽陽性に分けて異なるセットに分類します。次に、曖昧対照的精製モジュールを実装し、プロトタイプとの距離を調整することでこれらの曖昧なサンプルを校正します。この校正過程では、偽陰性（FN）サンプルをそれぞれのプロトタイプに近づけつつ、偽陽性（FP）サンプルを関連するプロトタイプから遠ざけることを目指します。さらに、異なるプロトタイプ間の差異を強化する新しいプロトタイプ多様性増幅損失を提案します。これによりモデルの能力が向上します。最後に、プロトタイプに基づく修正手法を提案し、予測結果にプロトタイプの表現力を組み込むことで予測精度を改善します。ベンチマークデータセットでの広範な実験により、当社の方法が既存アプローチよりも優れた性能であることが示されました。コードは以下のURLで公開されています: https://github.com/kunli-cs/PCAN.