MADrive: メモリ拡張型ドライビングシーンモデリング

最近のシーン再構築技術の進歩により、3Dガウススプラッティングを用いた自動運転（AD）環境の非常に現実的なモデリングが可能となっています。しかし、得られた再構築結果は依然として元の観測データに密接に関連しており、大幅に変更されたまたは新しいドライビングシナリオの写真現実的な合成をサポートするのに苦労しています。本研究では、MADriveというメモリ拡張型再構築フレームワークを導入します。このフレームワークは、既存のシーン再構築手法の能力を拡張するために設計されており、観測された車両を大規模な外部メモリバンクから取得した視覚的に類似した3Dアセットで置き換えることを目指しています。具体的には、野生環境で撮影された約7万件の360°カービデオからなる精選データセットMAD-Carsを公開し、メモリバンク内で最も類似した車両インスタンスを見つける検索モジュールを提示します。このモジュールは対応する3Dアセットをビデオから再構築し、向き合わせと再照明を通じてターゲットシーンに統合します。その結果、シーン内の車両に対する完全な多視点表現が提供され、大幅に変更された設定の写真現実的な合成が可能となります。これは我々の実験で示されています。プロジェクトページ: https://yandex-research.github.io/madrive/