2ヶ月前

階層的ニューロシンボリックアプローチによる包括的かつ説明可能な行動品質評価

Okamoto, Lauren ; Parmar, Paritosh
階層的ニューロシンボリックアプローチによる包括的かつ説明可能な行動品質評価
要約

アクション品質評価(AQA)は、コンピュータビジョンを用いて人間の行動の実行またはパフォーマンスを定量的に評価する技術です。現在のAQA手法は、エンドツーエンドのニューラルモデルであり、透明性に欠け、主観的な人間の判断に基づいて訓練されるため偏りがちです。これらの問題に対処するために、私たちはニューロシンボリックパラダイムをAQAに導入しました。このパラダイムでは、ニューラルネットワークを使用してビデオデータから解釈可能なシンボルを抽象化し、そのシンボルに対して規則を適用することで品質評価を行います。本研究では、ダイビングを事例として取り上げました。私たちは、領域専門家が当システムを好む傾向があり、ダイビングにおける純粋なニューラルアプローチと比較してより情報量が多いことを確認しました。当システムはまた、最先端の動作認識と時間的セグメンテーションを達成しており、ダイブを要素に分解し客観的なスコアリングと視覚的証拠とともに詳細なレポートを自動生成します。領域専門家のグループによって検証された結果によると、このレポートはジャッジのスコアリング支援、ジャッジの育成支援、およびダイバーへのフィードバック提供に使用することができます。注釈付きトレーニングデータとコード:https://github.com/laurenok24/NSAQA。