Geo-localizationを超えて：衛星画像とのクロスビュー照合によるストリートビュー画像の細かい方位付け - 補足資料付き

ストリートビュー画像は、遠隔地から異なる場所を探索する新しい体験を提供します。Google Street Viewなどの慎重にキャリブレーションされたストリートビュー画像は、ナビゲーションやマップ特徴の抽出など、さまざまな下流タスクに利用できます。個人用の高品質カメラがより安価で携帯性が向上したことで、インターネット上には大量のクラウドソーシングによるストリートビュー画像がアップロードされていますが、多くの場合、センサ情報が欠落しているかノイジーです。この隠れた宝物を「即使用」状態にするためには、位置情報の決定とカメラの向き角度の推定という2つの重要なタスクがあります。最近の手法では、地理参照衛星画像のプールとのクロスビュー照合によってストリートビュー画像のジオローカライゼーションにおいて高い性能を達成しています。しかし、既存の大半の研究はジオローカライゼーションに焦点を当てており、画像の向き推定にはそれほど注力していません。本研究では、ストリートビュー画像における細かい向き推定の重要性を再確認し、問題を形式的に定義し、向き推定の品質を評価する一連の指標を提供します。また、向き推定の粒度を改善する2つの手法を提案し、CVUSAおよびCVACTデータセットにおいて推定角度誤差2度未満の画像に対する精度82.4%と72.3%を達成しました。これは既存手法と比較して34.9%と28.2%の絶対的な改善率に相当します。訓練時に細かい向き推定を取り入れることにより、ジオローカライゼーションの性能も向上し、2つのデータセットでの方位情報あり/なしテストにおいてトップ1リコール率が95.5%/85.5%および86.8%/80.4%となりました。