Command Palette
Search for a command to run...
航空画像からの地表面シーン構造の予測
航空画像からの地表面シーン構造の予測
Zhai Menghua Bessinger Zachary Workman Scott Jacobs Nathan
概要
航空画像から意味的に有意な特徴を学習するための新規な戦略を提案する。本手法では、航空画像を手動でラベル付けするのではなく、同一位置に撮影された地上画像から自動的に抽出された(ノイズを含む)意味特徴を予測することを目的とする。我々のネットワークアーキテクチャは、航空画像を入力として取り込み、畳み込みニューラルネットワーク(CNN)を用いて特徴を抽出した後、これらの特徴を地上視点に適応的に変換する。エンドツーエンドの学習アプローチにより、地上画像から直接抽出された意味セグメンテーションと、航空画像のみを入力として予測された意味セグメンテーションとの差を最小化する。本研究では、この戦略に基づいて学習されたモデルが、追加の訓練を施さずに、航空画像に対する粗い意味ラベル付けを既に実現できることを示す。さらに、このモデルを微調整(ファインチューニング)することで、2つのベースライン初期化戦略よりもより高精度な意味セグメンテーションを達成できることを実証する。また、本ネットワークを用いて地上画像の地理的位置および姿勢推定というタスクに応用する。最後に、航空画像から抽出された特徴を活用して、現実的な地上レベルのパノラマ画像を生成(ホールーシュレーション)する方法を示す。