要約
本稿では、単一のモノクロ画像から3次元物体検出を行うエンドツーエンドの深層学習ベースのフレームワークを提案する。本手法では、深層畳み込みニューラルネットワークを用いて、2次元と3次元の物体検出を同時に行う。まず、領域提案ネットワーク（Region Proposal Network）を用いて2次元の領域候補を生成する。その後、これらの候補領域内で共有特徴を学習し、物体クラス確率、2次元バウンディングボックス、方向性、寸法、および3次元位置を予測する。さらに、独立したモジュールを導入して視差を予測し、計算された点群から特徴を抽出する。これにより、元の画像と点群からの特徴が複数のレベルで融合され、高精度な3次元位置推定が実現される。また、推定された視差を用いて前方視点特徴を符号化し、入力画像の表現を向上させる。このプロセスは入力特徴の融合（input-fusion）とみなされる。提案手法は、単一のRGB画像を入力として、エンドツーエンドのフレームワークで2次元および3次元の物体検出結果を直接出力可能である。KITT（KITTI）ベンチマークにおける実験結果から、単一のモノクロ画像のみを用いる条件下で、従来の最先端手法を顕著に上回ることが示された。