3D インスタンスセグメンテーションのためのマルチタスクメトリックラーニング

我々は、密な3Dボクセルグリッドのインスタンスラベルセグメンテーションのために新しい手法を提案します。この手法は、深度センサやマルチビューステレオ法によって取得され、意味的な3D再構成やシーン補完法によって処理された体積的なシーン表現を対象としています。主な課題は、個々の物体インスタンスの形状情報を学習し、それらを正確に分離することです。これには接続されている物体や不完全にスキャンされた物体も含まれます。我々は多タスク学習戦略を使用して3Dインスタンスラベリング問題を解決します。最初の目標は、同じインスタンスラベルを持つボクセルを互いに近づけつつ、異なるインスタンスラベルを持つクラスタを分離する抽象的な特徴埋め込みを学習することです。2番目の目標は、各ボクセルに対してインスタンスの重心の方向情報を密集して推定することで、インスタンス情報を学習することです。これは特にクラスタリング後処理ステップでインスタンス境界を見つけるために有用であり、また最初の目標におけるセグメンテーション品質の評価にも役立ちます。合成データと実世界データを用いた実験により、本手法の有効性と優れた点が示されています。実際、ScanNet 3Dインスタンスセグメンテーションベンチマークにおいて最先端の性能を達成しています。