ClearGrasp: 透明物体の操作のための3次元形状推定

透明な物体は日常生活に一般的に存在しますが、それらには標準的な3Dセンサが正確な深度推定を生成するのが非常に困難な独自の視覚的特性があります。多くの場合、これらの物体は背後の表面のノイジーで歪んだ近似として現れます。これらの課題に対処するために、本研究では単一のRGB-D画像から透明物体の正確な3D形状を推定する深層学習手法であるClearGraspを提案します。透明物体の単一のRGB-D画像が与えられたとき、ClearGraspは深層畳み込みネットワークを使用して表面法線、透明表面のマスク、および遮蔽境界を推定します。その後、これらの出力を使用してシーン内のすべての透明表面の初期深度推定を洗練します。ClearGraspの訓練とテストのために、5万枚以上のRGB-D画像からなる大規模な合成データセットと、286枚の実世界での透明物体のRGB-D画像およびその真値幾何学情報からなるテストベンチマークを構築しました。実験結果は、ClearGraspが単眼深度推定ベースラインよりも大幅に優れており、実世界の画像や未知の物体への汎化能力があることを示しています。また、ClearGraspが箱出し（out-of-the-box）で透明物体に対する把持アルゴリズムの性能向上に適用できることも示しました。コード、データセット、ベンチマークは公開される予定です。補足資料はプロジェクトウェブサイトで入手可能です: https://sites.google.com/view/cleargrasp