要約
CNN記述子に基づく画像検索手法は、正例と負例の多数の異なる画像ペアからメトリック学習に依存している。昼間画像と夜間画像の差異が明確な領域、特に訓練データの入手困難さや変動性が低い夜間画像のような領域では、標準ベンチマークで優れた性能を示す手法であっても、検索性能が著しく低下する傾向にある。本研究では、入手可能な昼間画像例を夜間画像に変換するGANベースの合成画像生成器を訓練することを提案する。この生成器は、メトリック学習におけるデータ拡張として用いられ、データが不足する夜間領域に訓練データを供給する役割を果たす。さまざまなタイプの生成器を評価・分析した結果、本研究では、元画像と変換画像の間のエッジの一貫性を強制する新たな軽量GANアーキテクチャを提案する。このアーキテクチャは、昼間および夜間の両方の画像上で動作するエッジ検出器を同時に学習可能である点も特徴である。さらに、訓練例の多様性を高め、学習モデルの一般化性能を最大化するため、新たな多様なアンカー抽出（diverse anchor mining）手法を提案する。提案手法は、標準的な東京24/7昼夜検索ベンチマークにおいて、従来の最先端手法を上回る性能を達成しつつ、オックスフォードおよびパリデータセットでの性能を維持している。この成果は、昼間と夜間のマッチング画像ペアを学習データとして用いる必要がない点で特徴的である。実装コードは、https://github.com/mohwald/gandtr にて公開されている。