HyperAIHyperAI

Command Palette

Search for a command to run...

EarthVQA: Auf dem Weg zu einem abfragbaren Erdmodell durch relationales Schließen auf Basis von Fernerkundungsvisuellen Frage- und Antwortsystemen

Junjue Wang Zhuo Zheng Zihang Chen Ailong Ma Yanfei Zhong

Zusammenfassung

Forschungen im Bereich Erdvision konzentrieren sich in der Regel auf die Extraktion von georäumlichen Objektstandorten und -kategorien, vernachlässigen jedoch die Erforschung von Beziehungen zwischen Objekten und umfassende Schlussfolgerungen. Ausgehend von den Anforderungen der Stadtplanung haben wir ein multimodales, multiaufgaben-basiertes VQA-Datensatz (EarthVQA) entwickelt, um relationale Schlussfolgerungen-basierte Bewertungen, Zählvorgänge und umfassende Analysen zu verbessern. Der EarthVQA-Datensatz enthält 6000 Bilder, entsprechende semantische Masken und 208.593 Frage-Antwort-Paare, in denen städtische und ländliche Verwaltungsanforderungen verankert sind. Da Objekte die Grundlage für komplexe relationale Schlussfolgerungen bilden, schlagen wir ein semantisches Objektbewusstseins-Framework (SOBA) vor, um VQA auf objektzentrierte Weise zu verbessern. Um detaillierte räumliche Standorte und Semantiken zu erhalten, nutzt SOBA ein Segmentierungsnetzwerk zur Generierung von Objektsemantiken. Die objektgeführte Aufmerksamkeit aggregiert innere Objekteigenschaften durch Pseudomasken, während bidirektionale Kreuzaufmerksamkeit Beziehungen zwischen den Objekten hierarchisch modelliert. Um die Genauigkeit des Zählens zu optimieren, schlagen wir einen numerischen Differenzverlust vor, der dynamisch Differenzstrafen hinzufügt und so Klassifikations- und Regressionsaufgaben vereint. Experimentelle Ergebnisse zeigen, dass SOBA sowohl fortschrittliche allgemeine als auch fernerkundungsbasierte Methoden übertrifft. Wir glauben, dass dieser Datensatz und dieses Framework eine wichtige Referenz für komplexe Analysen im Bereich Erdvision bieten. Die Projektseite befindet sich unter https://Junjue-Wang.github.io/homepage/EarthVQA.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp