方向性ガイダンス付き対照学習を用いたUAV視点の地理的ローカリゼーション

データ駆動型の世界において、関連するマルチメディアコンテンツを検索することは主要な課題の一つとなっています。ドローンの普及により、高品質な空中映像が初めて広範な視聴者に利用可能になりました。これらの映像をアプリケーションに統合することで、GPSなしでの地理的位置付けや位置補正が可能になります。本論文では、UAV（無人航空機）視点の地理的位置付け向けの向き誘導型学習フレームワークを提案します。階層的な位置付けにより、UAV画像の向きが衛星画像に対して推定されます。私たちは、コントラスティブ学習された埋め込みに基づいて異なる視点間の向きを予測する軽量な予測モジュールを提案しています。実験結果から、この予測は学習を支援し、従来の手法を上回ることが示されました。抽出した疑似ラベルは、衛星画像の回転合わせを行うための拡張として使用され、汎化性能をさらに強化します。推論時にはこの向き予測モジュールが必要なくなるため、追加の計算コストは不要となります。我々はUniversity-1652およびUniversity-160kデータセットで最先端の結果を達成しました。