要約
3次元オブジェクト検出は、点群を唯一の入力として用いることで顕著な進展を遂げている。しかし、点群はしばしば幾何学的構造が不完全であり、意味情報が欠落しているため、検出されたオブジェクトを正確に分類することが困難である。本研究では、画像から得られるオブジェクトレベルの情報を効果的に活用することで、点群ベースの3次元検出器の性能を向上させる方法に焦点を当てる。我々は、画像情報を点特徴に融合するシンプルでありながら効果的な手法であるDeMFを提案する。点特徴と画像特徴マップが与えられた場合、DeMFは3次元点の投影された2次元位置を参照として、画像特徴を適応的に集約する。我々の手法は挑戦的なSUN RGB-Dデータセット上で評価され、最先端の結果を大幅に上回る性能を達成した（[email protected]で+2.1、[email protected]で+2.3）。コードはhttps://github.com/haoy945/DeMFにて公開されている。