2ヶ月前
RICA2: ルーブリックに基づき、調整された行動評価
Majeedi, Abrar ; Gajjala, Viswanatha Reddy ; GNVV, Satya Sai Srinath Namburi ; Li, Yin

要約
行動の実行度を定量的に評価する能力、すなわち行動品質評価(Action Quality Assessment: AQA)は、最近視覚コミュニティの関心を集めています。しかしながら、従来の手法ではしばしば人間の専門家が使用するスコアリング・ルーブリックが無視され、モデル予測の不確実性を定量的に評価する点で不足していました。このギャップを埋めるため、私たちはRICA^2 - スコアリング・ルーブリックを統合し、予測不確実性を考慮した深層確率モデルを提案します。私たちの手法の中心となるのは、スコアリング・ルーブリックを符号化したグラフ構造上に定義される確率的な行動ステップの埋め込みです。これらの埋め込みは潜在空間内で確率密度を拡散させ、モデルの不確実性を表現することができます。グラフはスコアリング基準を符号化しており、これに基づいて品質スコアが復号化されます。私たちは公開ベンチマークであるFineDiving、MTL-AQA、およびJIGSAWSにおいて、当手法が新しい最先端技術となり得ることを示しました。特にスコア予測と不確実性キャリブレーションにおいて優れた性能を発揮しています。当研究のコードは以下のURLから入手可能です:https://abrarmajeedi.github.io/rica2_aqa/