UniSeg3D 3D シーン理解フレームワーク

UniSeg3D は、2024 年に華中科技大学の研究者によって提案された統合 3 次元シーン理解フレームワークです。関連する論文結果は「3D シーンを理解するための統合フレームワーク」、NeurIPS 2024 で公開されました。このフレームワークは、パノプティック セグメンテーション、セマンティック セグメンテーション、インスタンス セグメンテーション、インタラクティブ セグメンテーション、参照セグメンテーション、オープンボキャブラリー セグメンテーションを含む 6 つの異なる 3D 点群セグメンテーション タスクを同じモデル内に実装できます。

niSeg3D フレームワークは、これらのタスクを 1 つのモデルに統合し、共有表現と処理メカニズムを通じてタスク間の情報共有を促進することで、3D シーンの包括的な理解を向上させます。このフレームワークは、知識の蒸留と対照的な学習方法を設計して、異なるタスク間で特定の知識を伝達することにより、モデルのパフォーマンスを向上させます。

実験部分では、UniSeg3D は 3 つのベンチマーク テスト (ScanNet20、ScanRefer、および ScanNet200) で現在の最先端の手法 (SOTA) を超えるパフォーマンスを実証しました。