MECCANOデータセット：産業環境におけるエゴセントリック動画から人間と物体の相互作用を理解する

ウェアラブルカメラは、人間が世界と相互作用する様子を画像や動画として収集することができます。第三者視点での人間-物体相互作用については詳細に研究されてきましたが、エゴセントリック設定および産業シナリオにおけるこの問題は十分に研究されていませんでした。このギャップを埋めるために、私たちはMECCANO（エゴセントリック動画で産業環境における人間-物体相互作用を研究する最初のデータセット）を紹介します。MECCANOは、20人の参加者が小型のモーターバイクモデルを組み立てる際に、小さな物体や道具と相互作用する様子を収集して作成されました。このデータセットは、エゴセントリック視点から人間-物体相互作用を認識するタスクのために明示的にラベリングされています。具体的には、各相互作用について時間的に（行動セグメント）と空間的に（アクティブな物体のバウンディングボックス）ラベリングが行われています。提案されたデータセットを使用して、1) 行動認識、2) アクティブな物体検出、3) アクティブな物体認識、4) エゴセントリック人間-物体相互作用検出（標準的な人間-物体相互作用検出タスクの再考版）という4つの異なるタスクを調査しています。ベースライン結果は、MECCANOデータセットが産業環境に類似したシナリオにおけるエゴセントリック人間-物体相互作用の研究に適した難易度の高いベンチマークであることを示しています。当該データセットは公開され、https://iplab.dmi.unict.it/MECCANO からアクセスできます。