Le Tour du Monde en 80 Pas de Temps : Une Approche Générative pour la Géolocalisation Visuelle Mondiale

La géolocalisation visuelle globale prédit l'endroit où une image a été capturée sur Terre. Étant donné que les images varient en termes de précision de leur localisation, cette tâche implique naturellement un degré significatif d'ambiguïté. Cependant, les approches existantes sont déterministes et négligent cet aspect. Dans cet article, nous visons à combler le fossé entre la géolocalisation traditionnelle et les méthodes génératives modernes. Nous proposons la première approche générative de géolocalisation basée sur la diffusion et l'appariement de flux riemannien, où le processus de débruitage opère directement sur la surface terrestre. Notre modèle atteint des performances de pointe sur trois benchmarks de géolocalisation visuelle : OpenStreetView-5M, YFCC-100M et iNat21. De plus, nous introduisons la tâche de géolocalisation visuelle probabiliste, où le modèle prédit une distribution de probabilité sur tous les lieux possibles au lieu d'un seul point. Nous présentons de nouvelles métriques et des baselines pour cette tâche, démontrant les avantages de notre approche basée sur la diffusion. Les codes et les modèles seront rendus disponibles.