自動符号化スコア分布回帰による行動品質評価

ビデオの動作品質評価（Action Quality Assessment: AQA）は、ビデオと動作スコアの関係をモデル化することが難しいため、挑戦的な視覚タスクとなっています。そのため、AQAは多くの研究で広く取り上げられています。従来、AQAは回帰問題として扱われ、ビデオと動作スコアの間の潜在的なマッピングを学習していました。しかし、これまでの方法ではAQAデータセットにおけるデータの不確実性が無視されていました。この aleatoric 不確実性に対処するため、我々はプラグアンドプレイモジュールである Distribution Auto-Encoder (DAE) をさらに開発しました。具体的には、DAEはビデオを分布にエンコードし、変分自己符号化器（Variational Auto-Encoder: VAE）での再パラメータ化トリックを使用してスコアをサンプリングします。これにより、ビデオとスコアの間でより正確なマッピングが確立されます。同時に、尤度損失を使用して不確実性パラメータを学習します。我々はDAE手法をMUSDLおよびCoReに組み込みました。公開データセットでの実験結果は、当手法がAQA-7、MTL-AQAおよびJIGSAWSデータセットにおいて最先端の性能を達成していることを示しています。当方のコードは https://github.com/InfoX-SEU/DAE-AQA で入手可能です。