要約
本論文は、衛星画像と地上画像のペアを使用して、衛星画像から正確な3次元幾何表現を構築することを目指しています。特に、衛星画像から3次元認識のある地上視点の合成という課題に焦点を当てています。我々は、体積ニューラルレンダリングで使用される密度場表現に着想を得て、Sat2Densityと呼ばれる新しい手法を提案します。当手法では、地上視点パノラマの空域と非空域の特性を利用して、幾何学的な観点から3次元シーンの忠実な密度場を学習します。他の方法が訓練時に追加の深度情報を必要とするのに対し、Sat2Densityは深度監督なしで自動的に正確かつ忠実な3次元幾何を学習できます。この進歩により、地上視点パノラマの合成タスクが大幅に改善されます。さらに、当研究は衛星画像と地上視点画像との間の3次元空間における関係性を理解するための新しい幾何学的観点を提供します。