Command Palette
Search for a command to run...
OneFormer3D:統一された点群セグメンテーションのためのワントランスフォーマー
OneFormer3D:統一された点群セグメンテーションのためのワントランスフォーマー
Maxim Kolodiazhnyi Anna Vorontsova Anton Konushin Danila Rukhovich
概要
3次元点群の意味的セグメンテーション、インスタンスセグメンテーション、パノプティックセグメンテーションは、それぞれ異なる設計をもつタスク固有のモデルを用いて対応されてきた。その結果、すべてのセグメンテーションタスク間の類似性およびそれらの間に潜む内在的な関係性が十分に活用されてこなかった。本論文では、これらすべてのタスクを一括して扱う、統一的かつシンプルで効果的なモデルを提案する。このモデルは「OneFormer3D」と命名され、一連の学習可能なカーネルを用いてインスタンスセグメンテーションと意味的セグメンテーションを一貫して実行する。各カーネルは、インスタンスまたは意味的カテゴリに対応するマスクを生成する役割を担う。これらのカーネルは、統一的なインスタンスおよび意味的クエリを入力として用いるTransformerベースのデコーダによって学習される。この設計により、モデルは一度のエンド・ツー・エンドの訓練で学習可能となり、同時に3つのセグメンテーションタスクにおいて最高性能を達成する。特に、ScanNetテストリーダーボードにおいて、本モデルは1位を獲得し、新たなSOTA(state-of-the-art)を記録(mAP50 +2.1)した。また、ScanNet(PQ +21)、ScanNet200(mAP50 +3.8)、S3DIS(mIoU +0.8)の各データセットにおいても、意味的セグメンテーション、インスタンスセグメンテーション、パノプティックセグメンテーションのすべてでSOTA性能を達成することを実証した。