Raumbezogenes Merkmalsaggregation für bildbasierte, kreuzansichtige Geo-Lokalisierung

In diesem Artikel entwickeln wir ein neues tiefes Netzwerk, das diese inhärenten Unterschiede zwischen Boden- und Luftbildern explizit berücksichtigt. Wir beobachten, dass zwischen Boden- und Luftbildern gewisse annähernde Domänenkorrespondenzen bestehen. Genauer gesagt entsprechen Pixel, die in einer Luftaufnahme in derselben Azimutrichtung liegen, annähernd einer vertikalen Spalte in der Bodenansicht. Daher schlagen wir einen zweistufigen Ansatz vor, um dieses vorherige Wissen auszunutzen. Im ersten Schritt wenden wir eine reguläre Polarkoordinatentransformation an, um ein Luftbild zu verzerren, sodass seine Domäne derjenigen eines Bodenpanoramas näherkommt. Dabei ist die Polarkoordinatentransformation als reine geometrische Transformation inhaltsunabhängig und kann daher die beiden Domänen nicht vollständig ausrichten. Im zweiten Schritt fügen wir eine räumliche Aufmerksamkeitsmechanismus hinzu, der die entsprechenden tiefen Merkmale im Embedding-Raum weiter aneinander annähert. Um die Robustheit der Merkmalsdarstellung zu verbessern, führen wir eine Merkmalsaggregation über die Lernung mehrerer räumlicher Embeddings ein. Durch diesen zweistufigen Ansatz erreichen wir diskriminativere tiefe Darstellungen, was die Geo-Lokalisierung über verschiedene Blickwinkel hinweg präziser macht. Unsere Experimente auf Standard-Benchmark-Datensätzen zeigen eine signifikante Leistungssteigerung und erreichen eine Recall-Rate, die mehr als verdoppelt ist im Vergleich zum vorherigen Stand der Technik.