3Dインスタンスセグメンテーションのためのクエリリファインメントトランスフォーマー

3Dインスタンスセグメンテーションは、シーン内のオブジェクトインスタンスの集合を予測し、対応する意味ラベルを付与されたバイナリフォアグラウンドマスクとして表現することを目的としている。しかし、オブジェクトインスタンスは形状やカテゴリにおいて多様性に富んでおり、点群データは通常、疎であり、順序がなく、不規則であるため、クエリサンプリングのジレンマが生じる。さらに、ノイズを含むバックグラウンドクエリがシーンの適切な認識および正確なインスタンスセグメンテーションを妨げる要因となる。上記の問題に対処するため、本研究ではQueryRefinementTransformerであるQueryFormerを提案する。本手法の鍵となるのは、高いカバレッジと低重複率を実現するクエリ分布の初期化プロセスを最適化するためのクエリ初期化モジュールを活用することである。また、付随するTransformerデコーダを設計し、ノイズを含むバックグラウンドクエリの干渉を抑制するとともに、フォアグラウンドクエリがインスタンスの特徴的な部分に注目できるようにし、最終的なセグメンテーション結果を予測する支援を行う。ScanNetV2およびS3DISデータセットにおける広範な実験結果から、QueryFormerが最先端の3Dインスタンスセグメンテーション手法を上回ることを示した。