SDF形状事前情報の微分可能レンダリングを用いた3Dオブジェクトの自動ラベリング

私たちは、市販の事前学習済み2D検出器とスパースLIDARデータから9Dキュボイドおよび3D形状を復元する自動アノテーションパイプラインを提案します。当社の自動ラベリング手法は、学習された形状事前知識を取り入れ、幾何学的および物理的パラメータを最適化することで、不適切に定式化された逆問題を解きます。この困難な問題に対処するために、符号距離場（Signed Distance Fields: SDF）に新しい微分可能な形状レンダラーを適用し、正規化されたオブジェクト座標空間（Normalized Object Coordinate Spaces: NOCS）と組み合わせて使用します。当初は合成データで形状と座標を予測するように訓練されましたが、当社の手法ではこれらの予測値を使用して実際のサンプルに対して射影的および幾何学的なアライメントを行います。さらに、我々はカリキュラムラーニング戦略も提案しており、自己改善型アノテーションラウンドにおいて徐々に難易度が増すサンプルで反復的に再訓練を行います。KITTI3Dデータセットでの実験結果は、我々が大量の正確なキュボイドを復元できることを示しており、これらの自動ラベルを使用して最先端の3D車両検出器を訓練することが可能であることを確認しています。