重み付け集約を用いた行動品質評価の向上

アクション品質評価（AQA）は、指定された動作のビデオを基に人間の動作を自動的に判断し、そのパフォーマンススコアを割り当てる技術である。既存のAQAに関する文献の大半は、RGBビデオを短いクリップに分割し、これらのクリップを畳み込み3次元（C3D）ネットワークを使用して高レベルな表現に変換し、平均化を通じてそれらを集約する方法を採用している。これらの高レベルな表現がAQAの実行に使用されるが、我々は現在のクリップレベル特徴量の平均化集約手法が、クリップレベル特徴量の相対的な重要性を十分に捉えることができないことを指摘している。本研究では、学習に基づく加重平均手法を提案する。この手法を使用することで、計算リソースを大幅に犠牲にすることなくより優れた性能を得ることができる。この手法をウェイト・ディシダー（WD）と呼ぶ。また、ResNetsを使用して動作品質評価におけるより良い表現を学習する実験も行った。畳み込みニューラルネットワークの深さと入力クリップサイズが動作スコア予測の品質に与える影響について評価した。34層（2+1）D ResNetを使用し、32フレームのクリップ処理能力を持つWD集約により、MTL-AQAデータセットにおいて新たな最先端のスピアマン順位相関係数0.9315（0.45%向上）を達成した。