3D AffordanceNet: 視覚的オブジェクトアフォーダンス理解のためのベンチマーク

視覚的な手がかりから物体との相互作用の方法を理解する能力、すなわち視覚的アフォーダンスは、視覚誘導型ロボット研究において重要な要素です。これには、視覚的アフォーダンスの分類、セグメンテーションおよび推論が含まれます。これまでに2Dおよび2.5D画像領域での関連研究が行われてきましたが、物体のアフォーダンスを真に機能的に理解するためには、3D物理領域での学習と予測が必要であり、この点についてはまだコミュニティ内で十分な研究が行われていません。本研究では、23の意味的物体カテゴリから23,000形状を収録し、18の視覚的アフォーダンスカテゴリで注釈された3D AffordanceNetデータセットを提示します。このデータセットに基づいて、フルシェイプ、部分ビューおよび回転不変性アフォーダンス推定を含む3つのベンチマークタスクを提供します。さらに、最新のポイントクラウド深層学習ネットワーク3種をすべてのタスクで評価しました。また、ラベル付けされていないデータから利益を得る可能性を探るため、半教師あり学習設定も調査しました。当社が提供したデータセットにおける包括的な結果は、視覚的アフォーダンス理解が価値ある一方で挑戦的なベンチマークであることを示しています。