PV-RCNN: ポイント-ボクセル特徴集合抽象化による3D物体検出

我々は、点群から正確な3次元物体検出を行うための新規かつ高性能な3D物体検出フレームワークであるPointVoxel-RCNN（PV-RCNN）を提案します。本研究で提案する手法は、3Dボクセル畳み込みニューラルネットワーク（CNN）とPointNetベースの集合抽象化を深く統合し、より識別力のある点群特徴を学習します。この手法は、3DボクセルCNNの効率的な学習と高品質な提案の利点と、PointNetベースのネットワークの柔軟な受容野を活かしています。特に、提案されたフレームワークは新しいボクセル集合抽象化モジュールを使用して、3Dシーンを3DボクセルCNNに要約し、少数のキーポイントに変換することで後続の計算量を削減するとともに、代表的なシーン特徴を符号化します。ボクセルCNNによって生成された高品質な3D提案に基づいて、RoI-gridプーリングが提案され、複数の受容野を持つキーポイント集合抽象化によりキーポイントからRoI-gridポイントへ提案固有の特徴を抽象化します。従来のプーリング操作と比較して、RoI-grid特徴ポイントは物体信頼度と位置を正確に推定するために豊富なコンテキスト情報を符号化します。KITTIデータセットおよびWaymoオープンデータセットにおける広範な実験結果は、本研究で提案するPV-RCNNが点群のみを使用して現行最先端の3D検出手法を超えることを示しています。コードはhttps://github.com/open-mmlab/OpenPCDet で公開されています。