3次元ポイントクラウドセグメンテーションのためのストラティファイドトランスフォーマー

近年、3次元ポイントクラウドのセグメンテーションは著しい進展を遂げている。現在の大多数の手法は局所的な特徴の集約に注力しているが、長距離依存関係を直接モデル化することができないという課題を抱えている。本論文では、長距離の文脈を捉え、優れた汎化性能と高い性能を示す「Stratified Transformer」を提案する。具体的には、まず新たなキーサンプリング戦略を提案する。各クエリポイントに対して、近傍の点を密に、遠方の点を疎に段階的にサンプリングすることでキーポイントを構成する。これにより、有効な受容 field を拡大しつつ、計算コストを抑えたまま長距離の文脈情報を捉えることが可能となる。また、不規則なポイント配置による課題に対処するため、最初の層にポイント埋め込み（point embedding）を導入し、局所情報を効果的に集約する。これにより収束性が向上し、性能の向上が実現される。さらに、文脈に応じた相対的位置符号化（contextual relative position encoding）を採用することで、位置情報の適応的な捉えが可能となる。最後に、各ウィンドウ内のポイント数が変動する問題に対処するため、メモリ効率の高い実装を導入している。広範な実験により、S3DIS、ScanNetv2、ShapeNetPartの各データセットにおいて、本手法の有効性と優位性が確認された。コードは以下のURLから公開されている：https://github.com/dvlab-research/Stratified-Transformer。