Ein Durchbruch Bei Der Bildgeolokalisierung! Die University of Maine, Google, OpenAI Und Andere Haben Das LocDiff-Framework Entwickelt, Das Eine Präzise Globale Positionierung Ohne Die Notwendigkeit Von Gittern Oder Referenzbibliotheken ermöglicht.

Die Standortbestimmungstechnologie, die geografische Positionen aus Kontextinformationen ableitet, findet breite Anwendung in der Trajektoriensynthese, der Gebäudesegmentierung und der Bildgeolokalisierung. Insbesondere die Bildgeolokalisierung, die visuelle Inhalte mit geografischen Koordinaten verknüpft, hat sich zu einem zentralen Forschungsgebiet entwickelt. Sie prognostiziert Breiten- und Längengradkoordinaten durch die Analyse von Bildmerkmalen und eignet sich für Datentypen wie Wildtierüberwachung und Stadtansichten.

Im Gegensatz zu etablierten Bildklassifizierungsaufgaben steht die Bildgeolokalisierung vor komplexen, nichtlinearen Kartierungsproblemen, was eine präzise Modellierung erschwert. Frühe Studien nutzten Regressionsmodelle, um Bildmerkmale direkt Längen- und Breitengraden zuzuordnen. Diese Modelle wiesen jedoch eine geringe Stabilität auf, und die Vorhersagefehler erreichten global oft Hunderte von Kilometern. Um dieses Problem zu lösen, schlugen Forscher die „Diskretisierungstransduktionsmethode“ vor, die die Geolokalisierungsaufgabe in ein Klassifizierungs- oder Suchproblem umwandelt. Allerdings weisen diese Methoden weiterhin Einschränkungen hinsichtlich räumlicher Auflösung und geografischer Abdeckung auf.

In den letzten Jahren haben generative Verfahren, insbesondere Diffusionsmodelle, dank ihrer hervorragenden Fähigkeit, kontinuierliche Datenverteilungen zu modellieren, neue Wege für die Geolokalisierungsforschung eröffnet. Darauf aufbauend hat ein gemeinsames Team der University of Maine, der University of Texas, der University of Georgia, der University of Maryland, von Google, OpenAI und der Harvard University einen innovativen Ansatz entwickelt.Sie stellten fest, dass der Hauptgrund für das Scheitern traditioneller Generierungsmethoden darin liegt, dass sich die räumlichen Eigenschaften geografischer Koordinaten von denen herkömmlicher Daten unterscheiden: Die Koordinaten befinden sich in einer eingebetteten Riemannschen Mannigfaltigkeit und nicht im euklidischen Raum, und die direkte Anwendung von Rauschen führt zu Projektionsverzerrungen; gleichzeitig fehlt den ursprünglichen Koordinaten die räumliche Information in verschiedenen Maßstäben, was die Modellierung komplexer Verteilungen erschwert.Um diese beiden zentralen Probleme anzugehen, entwickelte das Team das „Spherical Harmonics Dirac Delta (SHDD)“ und das integrierte Framework LocDiff. Durch die Entwicklung einer an die sphärische Geometrie angepassten Kodierungsmethode und Diffusionsarchitektur erreichten sie eine präzise Positionierung ohne Verwendung vordefinierter Raster oder externer Bildbibliotheken und ebneten damit den Weg für eine bahnbrechende Technologie in diesem Bereich.

Die zugehörigen Forschungsergebnisse mit dem Titel „LocDiff: Identifying Locations on Earth by Diffusing in the Hilbert Space“ wurden in NeurIPS 2025 aufgenommen.

Papieradresse:
https://openreview.net/forum?id=ghybX0Qlls

Folgen Sie unserem offiziellen WeChat-Konto und antworten Sie im Hintergrund mit „LocDiff“, um das vollständige PDF zu erhalten.

Weitere Artikel zu den Grenzen der KI:
https://hyper.ai/papers

Datensätze: Dieser Datensatz basiert auf GeoCLIP und erweitert drei große, typische Bildgeolokalisierungsdatensätze im globalen Maßstab.

Um die Vergleichbarkeit und Zuverlässigkeit der Forschungsergebnisse zu gewährleisten, orientierten sich die Forscher an den Benchmark-Einstellungen des GeoCLIP-Modells, das im Bereich der Bildgeolokalisierung weit verbreitet ist.In der Trainingsphase wurde der MP16-Datensatz (MediaEval Placing Tasks 2016) verwendet, der 4,72 Millionen Bilder mit präzisen geografischen Annotationen enthält und somit eine ausreichende Datenbasis für das Modelltraining bietet.Während der Testphase wurden drei typische globale Bildgeolokalisierungsdatensätze ausgewählt: Im2GPS3k, YFCC26k und GWS15k.

Es ist anzumerken, dass die Testdatensätze Im2GPS3k und YFCC26k hinsichtlich der Datenverteilung dem Trainingsdatensatz MP16 sehr ähnlich sind und sich einige Bilder überlappen können. Diese Eigenschaft verschafft abfragebasierten Methoden (wie GeoCLIP) einen gewissen Vorteil beim Abgleichprozess und trägt zur Verbesserung ihrer Abrufgenauigkeit bei.Während der Modellinferenzphase übernahmen die Forscher die Strategie gängiger Modelle wie GeoCLIP und SimCLR, indem sie für jedes Testbild 16 verbesserte Versionen generierten und den geografischen Mittelpunkt seiner Mehrfachabtastungen als endgültigen vorhergesagten Standort verwendeten.Diese Strategie verbessert die Modellleistung deutlich. Beispielsweise sinkt in Vergleichsexperimenten die Positionsgenauigkeit von GeoCLIP im 1-Kilometer-Maßstab auf dem Im2GPS3k-Datensatz von 14% auf unter 10%, wenn die Bildverbesserung und die Mittelwertbildung der Ergebnisse entfernt werden.

Um die Positionierungsfähigkeiten des Modells auf verschiedenen räumlichen Skalen umfassend zu bewerten, wurden in dieser Studie fünf Bewertungsebenen festgelegt: Straßenebene (1 km), Stadtebene (25 km), regionale Ebene (200 km), nationale Ebene (750 km) und kontinentale Ebene (2.500 km). Die Leistungsfähigkeit des Modells wurde quantifiziert, indem der Anteil der Stichproben, die sich im Umkreis des tatsächlichen Standorts befinden, statistisch vorhergesagt wurde.

LocDiff: Latentes Diffusionsmodell zur Generierung sphärischer Positionen

Das Hauptziel des LocDiff-Modells ist die Entwicklung eines latenten Diffusionsmodells, das für die sphärische Positionsgenerierung geeignet ist. Die Kernidee besteht darin, einen Positionskodierungsraum zu schaffen, der die Probleme der Sparsität und Nichtlinearität überwindet. Dies wird insbesondere durch die tiefe Integration des SHDD-Kodierungs- und -Dekodierungsverfahrens (Spherical Harmonic Dirac Function), der CS-UNet-Architektur (Conditional Siren-UNet) und effizienter Berechnungsstrategien erreicht.

Um die technische Richtung zu verdeutlichen, definiert diese Forschung zunächst mathematisch die Kerneigenschaften eines idealen Positionskodierungsraums: Der Koordinatenraum C sei eine Einheitskugel im dreidimensionalen euklidischen Raum, parametrisiert durch Winkelkoordinaten (θ, φ). Der ideale Positionskodierer PE muss eine injektive Funktion von C in den hochdimensionalen Raum ℝ^d sein (um die Eindeutigkeit der Kodierung zu gewährleisten), während der Dekodierer PD eine surjektive Funktion sein muss, die von ℝ^d zurück nach C abbildet (um die Integrität der Dekodierung zu gewährleisten). Wichtiger noch: Der Kodierungsraum muss dicht durch eine stetige Differenzmetrik ℰ gefüllt sein, und der Dekodierer muss die Stabilitätsanforderung erfüllen, dass „kleine Störungen im Kodierungsraum nur kleine Änderungen in den Kugelkoordinaten verursachen“ – diese beiden Eigenschaften sind entscheidend, um bestehende technische Engpässe zu überwinden.

Die bestehenden Methoden stehen jedoch vor einem doppelten Dilemma bei der Erreichung der oben genannten Ziele: Ist der Ortskodierungsraum selbst dünn besetzt, hat das Diffusionsmodell Schwierigkeiten, einen stabilen Diffusionsprozess darin durchzuführen, was direkt zu Konvergenzproblemen beim Training und einer geringen Dekodierungsgenauigkeit führt; wird stattdessen ein dichter Ortseinbettungsraum verwendet, so kann dieser zwar den reibungslosen Ablauf des Diffusionsprozesses unterstützen, die stark nichtlineare Abbildung zwischen Ortskodierung und Koordinatenraum führt jedoch dazu, dass die Aufgabe, „die korrekten geografischen Koordinaten aus den Einbettungsergebnissen abzuleiten“, in einer Sackgasse landet – die Minimierung der Distanz im Einbettungsraum entspricht oft nicht der Minimierung der Distanz im geografischen Raum.

Um diese Herausforderung zu bewältigen, schlugen die Forscher das SHDD-Codierungsschema vor.Der innovative Ansatz besteht darin, zunächst einen sphärischen Punkt (θ₀, φ₀) in eine sphärische harmonische Dirac-Funktion δ_(θ₀, φ₀) zu transformieren und diese Funktion anschließend in einen Koeffizientenvektor sphärischer harmonischer Funktionen zu kodieren, wodurch die SHDD-Darstellung entsteht. In praktischen Anwendungen lässt sich der theoretisch unendlichdimensionale Koeffizientenvektor durch Festlegung der maximalen Ordnung L der sphärischen harmonischen Funktion auf eine kompakte (L+1)²-dimensionale Darstellung reduzieren. Je größer der Wert von L ist, desto feiner sind die von der Darstellung erfassten räumlichen Informationen, was eine flexible Unterstützung für Positionierungsanforderungen in verschiedenen Maßstäben ermöglicht.

Der SHDD-Kodierungsraum ist von Natur aus dicht: Jeder Punkt e darin entspricht eindeutig einer sphärischen Funktion Fₑ. Die Differenz zwischen dieser Funktion und der sphärischen harmonischen Dirac-Funktion δ_(θ₀, φ₀), die dem realen Ort entspricht, wird durch die inverse KL-Divergenz quantifiziert. Dieses Differenzmaß ℰ ist die für die Untersuchung benötigte kontinuierliche Metrik.Wichtiger noch: Zwischen der SHDD-KL-Divergenz und der Wasserstein-2-Distanz besteht eine klare Beziehung, die mathematisch die Konsistenz zwischen den Unterschieden im Codierungsraum und den Unterschieden in der sphärischen Wahrscheinlichkeitsverteilung garantiert und damit die Grundlage für die Stabilität der Decodierung schafft.Die SHDD-Codierung löst das Nichtlinearitätsproblem herkömmlicher Methoden effektiv. Der Vergleich der zugehörigen Heatmaps zeigt, dass die mit SHDD gemessene sphärische Distanz im Vergleich zu traditionellen Einbettungsmethoden gleichmäßiger ist. Diese Gleichmäßigkeit reduziert das Risiko der Fehlerfortpflanzung im Dekodierungsprozess erheblich und gewährleistet eine präzise Positionierung.

Auf der Grundlage der Eigenschaften der SHDD-Darstellung haben die Forscher einen Modalitätssuchdecoder entwickelt, um eine effiziente Dekodierung zu erreichen.Dieser Decoder nutzt die modale Suchnatur der inversen KL-Divergenz zur Koordinateninversion, indem er den Bereich mit der höchsten Konzentration an Wahrscheinlichkeitsmassen sphärischer Funktionen findet. Der Hyperparameter ρ dient der Balance zwischen Dekodierungsauflösung und -stabilität: Ein größerer ρ-Wert macht das Dekodierungsergebnis weniger empfindlich gegenüber lokalen Maxima, führt aber zu einer geringeren Genauigkeit, während ein kleinerer ρ-Wert die Genauigkeit verbessert, aber die Anfälligkeit für lokales Rauschen erhöht. Dieser parameterfreie Ansatz bietet zwei Vorteile: Er vermeidet zusätzliche Verluste während der Dekodierung und macht die Verwendung vordefinierter sphärischer Partitionen oder externer Referenzbildbibliotheken überflüssig, wodurch die Anwendungsbeschränkungen traditioneller Methoden aufgehoben werden.

Wie in der Abbildung unten dargestellt, nutzt die CS-UNet-Architektur SirenNet als Basismodul für das bedingte Generierungsnetzwerk von LocDiff. Diese Wahl beruht darauf, dass die Koeffizienten sphärischer Harmonischer im Wesentlichen eine Überlagerung von Sinus- und Kosinusfunktionen darstellen und die sinusförmige Aktivierungsfunktion von SirenNet den Gradientenfluss effektiv aufrechterhält und sich so an die Ausbreitungsanforderungen sphärischer Harmonischer anpasst. Die Kerneinheit von CS-UNet, C-Siren, erzielt eine effiziente bedingte Rauschunterdrückung durch einen ausgeklügelten Merkmalsfusionsmechanismus: Nach Eingabe des latenten Vektors x, des bedingten Bildeinbettungsvektors e_I und des Diffusionsschritts t werden x und e_I zunächst in verborgene Vektoren projiziert. Anschließend wird der diskrete Diffusionszeitschritt t in Skalierungs- und Offsetvektoren transformiert, um die unbedingte Rauschunterdrückung durchzuführen. Schließlich werden die Bildbedingungen und die Rauschunterdrückungsmerkmale fusioniert, die angepassten Merkmale ausgegeben und an das nächste Modul weitergeleitet, wodurch eine vollständige bedingte Steuerungskette entsteht.

Der Trainingsprozess von LocDiff folgt dem Standard-DDPM-Framework und verwendet „Bild-Kugelposition“-Paare als Trainingsbeispiele: Zunächst wird das Bild mithilfe eines eingefrorenen CLIP-Encoders in eine Einbettungsdarstellung e_I mit fester Dimension umgewandelt. Die zugehörige Kugelposition (θ, φ) wird als SHDD-Darstellung kodiert und für die spätere Verwendung gespeichert. Während der Vorwärtsausbreitung wird der sphärischen harmonischen Dirac-Funktion schrittweise Rauschen hinzugefügt, bis sie in einen reinen Gaußschen Rauschvektor umgewandelt ist. In der Rückwärtsausbreitung rekonstruiert CS-UNet, gesteuert durch die Bildeinbettung e_I, schrittweise die ursprüngliche SHDD-Darstellung aus dem Rauschvektor. Als Verlustfunktion für das Training wird die SHDD-KL-Divergenz verwendet, die im Vergleich zum traditionellen sphärischen MSE-Verlust nicht nur numerisch stabiler ist, sondern auch räumliche Informationen auf verschiedenen Skalen effektiv erhält und dem Modell hilft, globale und lokale Merkmale zu lernen.

Während der Inferenzphase beginnt das Modell mit zufälligem Gaußschen Rauschen und generiert, geleitet von den eingebetteten Merkmalen des Eingangsbildes, schrittweise SHDD-Koeffizientenvektoren mittels CS-UNet. Diese Vektoren werden anschließend über einen Modalitätssuchdecoder in sphärische Koordinaten (θ, φ) transformiert. In der praktischen Anwendung werden die Berechnung der SHDD-KL-Divergenz und die Integrationsoperation der Modalitätssuche durch Summierung einer diskreten Menge sphärischer Ankerpunkte approximiert. Während des Trainings werden die Ankerpunkte global zufällig ausgewählt, um Überanpassung zu vermeiden.

LocDiff konzentriert sich auf drei Schlüsselfaktoren und erzielt in den meisten Testszenarien hervorragende Ergebnisse.

Um die Leistungsfähigkeit des LocDiff-Modells systematisch zu evaluieren, wurden in dieser Studie Experimente in drei Dimensionen durchgeführt: Lokalisierungsgenauigkeit, Generalisierungsfähigkeit und Recheneffizienz. Alle Experimente entsprachen den domänenüblichen Einstellungen, um faire Vergleiche zu gewährleisten.

Experimente zeigen, dass LocDiff, wie in der folgenden Tabelle dargestellt, in den meisten Testszenarien hervorragende Ergebnisse liefert. Um die Genauigkeit weiter zu verbessern, entwickelten die Forscher das Hybridmodell LocDiff-H. Dieses kombiniert die Vorteile beider Methoden, indem es den Abrufbereich von GeoCLIP auf einen Radius von 200 Kilometern um den von LocDiff generierten Standort beschränkt. LocDiff-H erzielt auf Im2GPS3k und YFCC26k herausragende Ergebnisse, bleibt aber auf GWS15k, insbesondere bei feinen Skalen, hinter dem ursprünglichen LocDiff zurück. Dies ist hauptsächlich auf die signifikanten Verteilungsunterschiede zwischen GWS15k und dem Trainingsdatensatz zurückzuführen, welche die induktive Verzerrung von GeoCLIP negativ beeinflussen.

Wie aus der folgenden Tabelle hervorgeht, übertrifft LocDiff im Vergleich zu ähnlichen generativen Modellen DiffR³, FMR³ und andere vergleichbare Modelle sowohl auf dem OSM-5M- als auch auf dem YFCC-4k-Datensatz und bestätigt damit die Vorteile der Multi-Scale-Latent-Diffusion-Methode.

Die Generalisierungsanalyse verdeutlicht den einzigartigen Wert generativer Methoden. Das abrufbasierte GeoCLIP ist stark von der räumlichen Abdeckung des Kartenmaterials abhängig: Seine Leistung verschlechtert sich deutlich, wenn die Verteilung des Testdatensatzes nicht mit der des Trainingsdatensatzes übereinstimmt. Selbst bei Verwendung von Millionen gleichmäßig verteilter Gitterpunkte als Kandidatenstandorte ist seine Leistung bei Maßstäben von 200 Kilometern und darüber deutlich schlechter als die des ursprünglichen Kartenmaterials. Dies spiegelt die begrenzte Anpassungsfähigkeit dieser Methode an unbekannte Standorte wider.

Im Gegensatz dazu zeichnet sich LocDiff durch eine robuste Generalisierungsfähigkeit aus. Wie die folgende Tabelle zeigt, bleibt die Leistung von LocDiff laut experimentellen Ergebnissen stabil, unabhängig davon, ob die Ankerpunkte MP16-Bibliothekspositionen oder einheitliche Gitterpunkte verwenden und unabhängig davon, ob die Anzahl der Ankerpunkte von 21.000 auf 1 Million erhöht wird. Dies bestätigt die Robustheit des Verfahrens zusätzlich.

Hinsichtlich der Recheneffizienz schneidet LocDiff hervorragend ab. Die SHDD-Kodierung/Dekodierung ist eine deterministische Operation in geschlossener Form und weist eine nahezu konstante Zeit- und lineare Speicherkomplexität auf. Während des Trainings kann die SHDD-Kodierung als Einbettungstabelle vorab berechnet werden, und die Dekodierung wird durch effiziente Matrixmultiplikation und argmax-Operationen implementiert. Insbesondere beschleunigen multiskalige SHDD-Repräsentationen die Konvergenz des Diffusionsprozesses signifikant – LocDiff konvergiert auf dem YFCC-Datensatz in nur etwa 2 Millionen Schritten, während das beste Modell seiner Klasse 10 Millionen Schritte benötigt.

Akademische Durchbrüche und industrieller Aufstieg in der Bildgeolokalisierungstechnologie

Die Bildgeolokalisierungstechnologie, die eine wichtige Brücke zwischen visuellen Informationen und der physischen Welt schlägt, hat in den letzten Jahren sowohl in der akademischen Forschung als auch in der praktischen Anwendung bedeutende Fortschritte erzielt.

Ein Forschungsteam des Computer Science and Artificial Intelligence Laboratory (CSAIL) am MIT hat einen bedeutenden Durchbruch bei der sphärischen Positionsbestimmung erzielt. Um die Herausforderung der nichtlinearen Abbildung in traditionellen Methoden zu bewältigen, schlugen sie ein verbessertes Verfahren auf Basis von Manifold Diffusion vor, das sphärische Harmonische mit Manifold Learning kombiniert. Diese Innovation verbessert die Positionierungsleistung des Modells in datenarmen Regionen wie Polargebieten und Ozeanen signifikant und erhöht die Genauigkeit um 231 TP3T auf einer Skala von 100 km. Die Forschung führt außerdem einen adaptiven Skalenanpassungsmechanismus ein, der die Generalisierungsfähigkeit des Modells in verschiedenen Regionen effektiv verbessert.

Titel des Papiers:LocDiffusion: Identifizierung von Orten auf der Erde durch Diffusion im sphärischen Harmonischen-Dirac-Delta-Raum
Link zum Artikel:https://arxiv.org/abs/2503.18142

Die UAE Digital University hat das GeoCoT-Framework entwickelt – ein neuartiges, mehrstufiges Schlussfolgerungsparadigma zur Verbesserung der Geolokalisierungsfähigkeiten großer Bildverarbeitungsmodelle. GeoCoT optimiert die Positionierungsgenauigkeit signifikant, indem es Kontextinformationen und räumliche Hinweise schrittweise durch die Simulation des menschlichen kognitiven Prozesses der Geolokalisierung integriert. Experimente mit der GeoEval-Metrik zeigen, dass dieses Framework die Geolokalisierungsgenauigkeit um bis zu 251 TP3T verbessert und gleichzeitig eine gute Interpretierbarkeit gewährleistet.
Titel des Papiers:Geolokalisierung mit realen Spieldaten: Ein umfangreicher Datensatz und ein Framework für menschenähnliches Denken
Link zum Artikel:https://arxiv.org/pdf/2502.13759

Diese akademischen Konzepte werden rasch in die Praxis umgesetzt und treiben innovative Verfahren in der Industrie voran. Die von PRISM Intelligence, dem Gewinner der NASA Startup Challenge 2023, entwickelte Plattform für Geodatenanalyse ist ein Paradebeispiel. Diese Plattform nutzt Strahlungsfeldtechnologie, um zweidimensionale Fernerkundungsbilder in hochauflösende dreidimensionale digitale Umgebungen umzuwandeln, und kombiniert KI-gestützte semantische Segmentierung mit dynamischen Optimierungsalgorithmen, um eine Interaktion in natürlicher Sprache mit Geodaten zu ermöglichen.

Das Google Earth-Team nutzte ein generatives Modell, das mit riesigen Mengen globaler Street-View-Daten trainiert wurde, um präzise Standortvorhersagen anhand von Bildern zu ermöglichen und fehlende Bildinformationen, die durch Wetter, Baustellen und andere Faktoren bedingt sind, automatisch zu ergänzen. Diese Technologie hat die Effizienz der Street-View-Aktualisierungen von Google Earth verdreifacht und die Abdeckung auf entlegenere Gebiete ausgeweitet.

Diese in der Industrie angewandten Praktiken bestätigen nicht nur den praktischen Wert der akademischen Forschung, sondern liefern durch Rückmeldungen aus realen Szenarien auch neue Wege für theoretische Innovationen und treiben die Bildgeolokalisierungstechnologie kontinuierlich in Richtung größerer Genauigkeit, Effizienz und Zugänglichkeit voran.

Referenzlinks:

1.https://science.nasa.gov/science-research/science-enabling-technology/technology-highlights/entrepreneurs-challenge-winner-prism-is-using-ai-to-enable-insights-from-geospatial-data/

2.https://ai.google.dev/competition/projects/prism