LION: 点群における3次元物体検出のための線形グループRNN

トランスフォーマーが大規模な3次元点群認識タスク（例：3D物体検出）において長距離関係をモデル化する際の二次的な計算コストにより、その利点は制限されます。一方、線形RNNは低計算複雑度を持ち、長距離モデリングに適しています。この目標に向けて、我々は線形グループRNN（LInear grOup RNN、つまりグループ化された特徴量に対して線形RNNを実行すること）に基づいた単純かつ効果的なウィンドウベースのフレームワークを提案し、正確な3D物体検出のためにLIONと名付けました。このフレームワークの重要な特性は、トランスフォーマーベースの手法よりも遥かに大きなグループで十分な特徴量の相互作用を可能にすることです。しかし、線形グループRNNを非常に疎な3次元点群における3D物体検出に効果的に適用することは容易ではありません。これは空間モデリングの処理能力に制限があるためです。この問題に対処するために、我々は単純に3次元空間特徴記述子を導入し、それを線形グループRNN演算子に統合して空間特徴を強化しました。ボクセル特徴のスキャン順序数を無闇に増やすのではなく、このアプローチを取りました。さらに疎な3次元点群における課題に対応するため、我々は線形グループRNNが自己回帰モデルの自然な性質であることを活用して、前景特徴量を濃密にする3次元ボクセル生成戦略を提案しました。広範囲にわたる実験により、提案したコンポーネントの有効性とMamba, RWKV, RetNetなどの異なる線形グループRNN演算子に対するLIONの汎化能力が確認されました。特に注目に値するのは、我々のLION-MambaがWaymo, nuScenes, Argoverse V2, ONCEデータセットで最先端の性能を達成していることです。最後に重要なことは、我々の方法が小規模だが人気のあるKITTIデータセットでもRetNet, RWKV, Mamba, xLSTM, TTTなどの先進的な線形RNN演算子をサポートしており、線形RNNベースのフレームワークとの迅速な体験が可能であることです。