Skeleton-DML: 骨格に基づくワンショット動作認識のための深層計量学習

ワンショットアクション認識は、単一の訓練例のみを使用して人間が行う動作を認識する技術です。これにより、ロボットが以前に見たことのない行動に対応できるようになり、ヒューマンロボットインタラクション（HRI）に肯定的な影響を与えることができます。私たちは、このワンショットアクション認識の問題を深層計量学習の問題として定式化し、計量学習設定で良好な性能を発揮する新しい画像ベースの骨格表現を提案します。そのため、モデルを訓練して画像表現を埋め込み空間に射影します。埋め込み空間では、類似した動作はユークリッド距離が低く、非類似の動作は距離が高い特性を持ちます。ワンショットアクション認識の問題は、活動参照サンプルのセットにおける最寄り近傍探索に帰着されます。私たちは提案した表現の性能を、他のさまざまな骨格ベースの画像表現と比較評価しました。さらに、異なる埋め込みベクトルサイズ、損失関数、データ拡張手法が結果に与える影響を示すアブレーションスタディも提示しています。私たちのアプローチはNTU RGB+D 120データセットにおいて同等の訓練設定のもとで3.3%向上し、追加的なデータ拡張により7.7%以上の改善が見られました。