IndustReal: 工業環境におけるエゴセントリック動画での手順ステップ認識と実行エラー処理のためのデータセット

手順タスクのアクション認識は注目を集めていますが、その根本的な欠点として、アクションの成功度を測定する指標が提供されていないことが挙げられます。これは、産業分野において特に問題となる点であり、手順に基づくアクションの結果が単なる実行よりも遥かに重要であることが多いためです。この限界を克服するために、我々は新たなタスクである手順ステップ認識（Procedure Step Recognition: PSR）を定義し、手順ステップの正規完了と順序の認識に焦点を当てました。新タスクとともに、マルチモーダルな IndustReal データセットも紹介します。既存のデータセットとは異なり、IndustReal には手順上の誤り（省略など）や実行上の誤りが含まれています。これらの誤りの大部分は検証セットとテストセットにのみ存在しており、IndustReal はアルゴリズムが新しい未見のミスに対してどれだけ堅牢であるかを評価するのに適しています。さらに、再現性を促進し、合成データで訓練されたスケーラブルなアプローチを可能にするために、すべての部品の3Dモデルが公開されています。アクション認識と組立状態検出だけでなく、新しい PSR タスクについてもアノテーションとベンチマーク性能が提供されています。IndustReal およびコードとモデルの重みは以下のURLから入手可能です: https://github.com/TimSchoonbeek/IndustReal 。