WeakM3D: 弱教師付き単眼3D物体検出へ向けて

単眼3D物体検出は、3Dシーン理解における最も困難な課題の一つです。単眼画像の非適切性（ill-posed nature）により、既存の単眼3D検出方法はLiDAR点群に手動でアノテーションされた3Dボックスラベルを使用した訓練に大きく依存しています。このアノテーションプロセスは非常に労力がかかるだけでなく、コストも高いです。3Dボックスラベルへの依存を解消するために、本論文では弱教師あり単眼3D検出を探索します。具体的には、まず画像上で2Dボックスを検出します。次に、生成された2Dボックスを使用して対応するRoI（Region of Interest）LiDARポイントを選択し、これを弱い教師データとして利用します。最終的に、ネットワークを用いて対応するRoI LiDARポイントと厳密に一致する3Dボックスを予測します。このネットワークは、新たに提案した3Dアライメント損失関数（3D alignment loss）を最小化することで学習されます。この損失関数は、3Dボックス推定値と対応するRoI LiDARポイントとの間のズレを評価します。上記の学習問題において潜在的な課題について説明し、これらの課題に対処するために当手法にいくつかの効果的な設計を取り入れます。コードはhttps://github.com/SPengLiang/WeakM3Dで公開される予定です。