AmsterTime：著しいドメインシフトに対する視覚的場所認識のベンチマークデータセット

我々は、著しいドメインシフトが存在する環境下における視覚的場所認識（VPR）のベンチマークを目的として、AmsterTimeという挑戦的なデータセットを紹介する。AmsterTimeは、アムステルダム市のストリートビューと歴史的アーカイブ画像データを対応させた、2,500枚の高品質に整理された画像のコレクションで構成されている。これらの画像ペアは、異なるカメラ、視点、外観条件下で同一の場所を捉えている。既存のベンチマークデータセットとは異なり、AmsterTimeはGISナビゲーションプラットフォーム（Mapillary）を介して直接クラウドソーシングによって収集されたものである。本研究では、検証タスクおよびリトリーバルタスクの両方において、学習を用いない手法、教師あり学習、自己教師あり学習の各種ベースラインを評価した。その結果、検証タスクにおいてはLandmarksデータセットで事前学習されたResNet-101モデルが84%の精度を達成し、リトリーバルタスクでは24%の精度を記録した。さらに、アムステルダムのランドマークのサブセットを収集し、分類タスクにおける特徴量評価に用いた。得られた分類ラベルを活用して、Grad-CAMを用いて視覚的説明を抽出し、深層メトリック学習モデルが学習した類似視覚パターンの可視化と検証を行った。