HyperAIHyperAI

Command Palette

Search for a command to run...

Effiziente Fernerkundung mit harmonisierter Transfer-Learning- und Modalitätsausrichtung

Tengjun Huang

Zusammenfassung

Mit dem Aufstieg von Visual and Language Pretraining (VLP) wird zunehmend das Paradigma des Pretrainings gefolgt von Fine-Tuning für nachgeschaltete Aufgaben übernommen. Obwohl dieses Paradigma in verschiedenen multimodalen nachgeschalteten Aufgaben vielversprechende Ergebnisse erzielt hat, begegnet seine Umsetzung im Bereich der Fernerkundung einer Reihe von Herausforderungen. Insbesondere die Neigung, gleiche Modality-Embeddings zu gruppieren, behindert eine effiziente Transferlernung. Um dieses Problem anzugehen, betrachten wir das Ziel der multimodalen Transferlernung für nachgeschaltete Aufgaben aus einer einheitlichen Perspektive und überdenken den Optimierungsprozess auf der Grundlage dreier unterschiedlicher Ziele. Wir stellen „Harmonized Transfer Learning and Modality Alignment (HarMA)“ vor, eine Methode, die gleichzeitig Aufgabenbeschränkungen, Modality-Alignment und einheitliche Alignment innerhalb einzelner Modalitäten erfüllt und gleichzeitig den Trainingsaufwand durch parameter-effizientes Fine-Tuning minimiert. Bemerkenswerterweise erreicht HarMA ohne Verwendung zusätzlicher Trainingsdaten Spitzenleistungen bei zwei gängigen multimodalen Retrieval-Aufgaben im Bereich der Fernerkundung. Unsere Experimente zeigen, dass HarMA mit nur minimalen anpassbaren Parametern konkurrenzfähige bis sogar überlegene Ergebnisse im Vergleich zu vollständig fine-tunenden Modellen erzielt. Aufgrund seiner Einfachheit lässt sich HarMA nahezu in alle bestehenden multimodalen Pretraining-Modelle integrieren. Wir hoffen, dass diese Methode die effiziente Anwendung großer Modelle auf eine Vielzahl nachgeschalteter Aufgaben fördert und gleichzeitig den Ressourcenverbrauch erheblich reduziert. Der Quellcode ist unter https://github.com/seekerhuang/HarMA verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Effiziente Fernerkundung mit harmonisierter Transfer-Learning- und Modalitätsausrichtung | Paper | HyperAI