要約
LiDARを用いたセンシングは、現在の自動運転車両の根幹をなしている。急速な進展にもかかわらず、現行のLiDARセンサは、解像度およびコスト面で従来のカラーカメラと比べて約20年遅れをとっている。自動運転の文脈では、センサに近い大きな物体は容易に検出可能であるが、遠方または小さな物体はたった1～2つの測定値しか得られない。これは特に、これらの物体が運転上の危険要因である場合に大きな課題となる。一方、同じ物体は搭載されたRGBセンサでは明確に可視化されている。本研究では、RGBセンサをLiDARに基づく3次元認識にスムーズに統合する手法を提案する。本手法は2次元検出結果を入力として、密度の高い3次元仮想点を生成し、それによって従来の疎な3次元点群を補完する。これらの仮想点は、標準的なLiDARベースの3次元検出器に自然に統合され、通常のLiDAR測定値と併用可能である。結果として得られるマルチモーダル検出器は構造が単純でありながらも効果的である。大規模なnuScenesデータセットを用いた実験結果から、強力なCenterPointベースラインに対して6.6 mAPの顕著な向上を達成し、他の競合する融合アプローチを上回ることを示した。コードおよび追加の可視化結果は、https://tianweiy.github.io/mvp/ にて公開されている。