HyperAIHyperAI

Command Palette

Search for a command to run...

Où dans le monde se trouve cette image ? Localisation géographique basée sur les Transformers dans des conditions réelles

Shraman Pramanick Ewa M. Nowara Joshua Gleason Carlos D. Castillo Rama Chellappa

Résumé

Prédire la localisation géographique (géolocalisation) à partir d'une seule image RGB de niveau terrestre prise n'importe où dans le monde est un problème très complexe. Les défis incluent une grande diversité d'images en raison des différents scénarios environnementaux, des variations drastiques de l'apparence du même lieu selon l'heure de la journée, les conditions météorologiques, la saison, et plus important encore, la prédiction est effectuée à partir d'une seule image qui peut ne contenir que quelques indices de géolocalisation. Pour ces raisons, la plupart des travaux existants sont limités à des villes spécifiques, des images particulières ou des monuments mondialement connus. Dans ce travail, nous nous concentrons sur le développement d'une solution efficace pour la géolocalisation mono-image à l'échelle planétaire. À cette fin, nous proposons TransLocator, un réseau neuronal transformateur à double branche unifié qui porte attention aux petits détails sur l'ensemble de l'image et produit une représentation robuste des caractéristiques malgré les variations extrêmes d'apparence. TransLocator prend en entrée une image RGB et sa carte de segmentation sémantique, interagit entre ses deux branches parallèles après chaque couche de transformateur, et effectue simultanément la géolocalisation et la reconnaissance de scène dans une approche multi-tâches. Nous évaluons TransLocator sur quatre jeux de données de référence - Im2GPS, Im2GPS3k, YFCC4k et YFCC26k - et obtenons une amélioration de 5,5 %, 14,1 %, 4,9 % et 9,9 % en termes de précision au niveau continental par rapport à l'état de l'art. TransLocator a également été validé sur des images de test issues du monde réel et s'est avéré plus efficace que les méthodes précédentes.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Où dans le monde se trouve cette image ? Localisation géographique basée sur les Transformers dans des conditions réelles | Articles | HyperAI