トランスフォーマーにおける帰納的バイアスの活用：ポイントクラウドの分類とセグメンテーション

点座標から効率的な高次元特徴量を抽出するための点間接続の発見は、点群処理における重要な課題である。既存の方法の多くは、効率的な局所特徴量抽出器の設計に焦点を当て、全体的な接続を無視するか、またはその逆である。本論文では、局所と全体的な注意を両方考慮した3D点間関係学習の新しい誘導バイアス支援トランスフォーマー（IBT）手法を提案する。具体的には、局所空間的一貫性を考慮し、相対位置エンコーディングと注意付き特徴量プーリングを通じて局所特徴量学習を行う。この局所性をトランスフォーマー・モジュールに組み込むことで、各点のチャンネル間の関係を調整するためにトランスフォーマー内の値成分に影響を与える。これにより、局所性に基づくチャンネル相互作用で自己注意機構が強化される。分類およびセグメンテーションタスクでの実験結果によりその優位性を示している。コードは以下のURLで公開されている: https://github.com/jiamang/IBT