要約
我々は、航空画像から意味的に重要な特徴を抽出するための新しい学習戦略を提案します。航空画像を手動でラベリングする代わりに、地上画像から自動的に抽出された（ノイジーな）意味的な特徴を予測することを提唱します。当社のネットワークアーキテクチャは、航空画像を取り込み、畳み込みニューラルネットワークを使用して特徴を抽出し、その後適応変換を適用してこれらの特徴を地上視点にマッピングします。直接地上画像から抽出した意味的セグメンテーションと、航空画像のみに基づいて予測した意味的セグメンテーションの差異を最小限にするために、エンドツーエンドの学習アプローチを使用します。この戦略を使用して学習したモデルは、追加の訓練なしでも既に航空画像の粗い意味的ラベリングが可能であることを示しています。さらに、このモデルのファインチューニングによって、2つのベースライン初期化戦略よりもより正確な意味的セグメンテーションが達成できることを実証しています。我々のネットワークは、地上画像の地理的位置と地理的方向性を見積もるタスクに対処するために使用されます。最後に、航空画像から抽出された特徴がどのようにして信凭性のある地上パノラマを生成できるかを示します。