Occupancy Network は、学習ベースの 3D 再構築手法の新しい表現です。この概念は論文で紹介されました。占有ネットワーク: 関数空間での 3D 再構成の学習」という論文が最初に提案され、CVPR 2019 に採択されました。
占有ネットワークの中心的なアイデアは、3D 空間での占有確率を予測することにより、単純な 3D 空間表現を取得することです。この方法は従来の 3D オブジェクト検出に依存せず、世界を小さな立方体、つまりボクセルに分割し、各ボクセルが空いているか占有されているかを予測します。これにより、Occupancy Network は 100 FPS 以上で実行でき、メモリ効率が非常に高く、移動オブジェクトと静的オブジェクトの両方を理解できるようになります。
テスラは、CVPR 2022 および Tesla Artificial Intelligence Day で占有ネットワークの概念を紹介し、知覚システムへの応用を実証しました。テスラの占有ネットワーク モデル構造には、複数の視点から画像から特徴を抽出し、次にアテンション モジュールとトランスフォーマーを通じて占有を予測し、最後に占有ボリュームと占有フローを 3D 空間に出力することが含まれています。
さらに、Occupancy Network は Neural Radiation Field (NeRF) テクノロジーとも組み合わせられており、Occupancy Network によって生成された 3D ボリュームと NeRF によって生成された 3D 再構成シーンを比較することで、予測された 3D シーンが実際のシーンと一致するかどうかを検証します。この方法は、オクルージョン、画像のぼやけ、雨、霧などの複雑な環境問題の解決に役立ちます。
自動運転の分野では、Occupancy Network は、特にロングテールの障害物や未知のクラスのオブジェクトを扱う場合に、認識タスクを処理するための新しい視点を提供し、その独自の利点を示します。テクノロジーが発展し続けるにつれて、占有ネットワークは自動運転認識システムに不可欠な部分になることが予想されます。