Open3DIS: 2Dマスクガイドを使用したオープンボキャブラリー3Dインスタンスセグメンテーション

私たちは、3Dシーン内のオープンボキャブラリーインスタンスセグメンテーションの問題に対処するために設計された新しいソリューション、Open3DISを紹介します。3D環境内の物体は多様な形状、スケール、および色を持つため、正確なインスタンスレベルの識別は困難な課題となっています。オープンボキャブラリーシーン理解における最近の進歩により、クラスに依存しない3Dインスタンス提案ネットワークを使用して物体の位置を特定し、各3Dマスクに対してクエリ可能な特徴を学習することで、この分野で大きな進展が見られています。これらの方法は高品質なインスタンス提案を生成しますが、小規模な物体や幾何学的に曖昧な物体の識別には苦戦しています。私たちの手法の主要なアイデアは、2Dインスタンスマスクをフレーム間で集約し、それらを幾何学的に一貫した点群領域にマッピングする新しいモジュールです。これにより、上記の制限を超えた高品質な物体提案が可能になります。これらの提案はクラスに依存しない3Dインスタンス提案と組み合わせることで、現実世界における広範囲の物体を含めることができます。当手法の有効性を検証するために、ScanNet200、S3DIS、Replicaという三つの主要データセット上で実験を行い、多様なカテゴリを持つ物体のセグメンテーションにおいて最先端手法よりも大幅な性能向上を示しました。