Effiziente Fernerkundung mit harmonisierter Transfer-Learning- und Modalitätsausrichtung

Mit dem Aufstieg von Visual and Language Pretraining (VLP) wird zunehmend das Paradigma des Pretrainings gefolgt von Fine-Tuning für nachgeschaltete Aufgaben übernommen. Obwohl dieses Paradigma in verschiedenen multimodalen nachgeschalteten Aufgaben vielversprechende Ergebnisse erzielt hat, begegnet seine Umsetzung im Bereich der Fernerkundung einer Reihe von Herausforderungen. Insbesondere die Neigung, gleiche Modality-Embeddings zu gruppieren, behindert eine effiziente Transferlernung. Um dieses Problem anzugehen, betrachten wir das Ziel der multimodalen Transferlernung für nachgeschaltete Aufgaben aus einer einheitlichen Perspektive und überdenken den Optimierungsprozess auf der Grundlage dreier unterschiedlicher Ziele. Wir stellen „Harmonized Transfer Learning and Modality Alignment (HarMA)“ vor, eine Methode, die gleichzeitig Aufgabenbeschränkungen, Modality-Alignment und einheitliche Alignment innerhalb einzelner Modalitäten erfüllt und gleichzeitig den Trainingsaufwand durch parameter-effizientes Fine-Tuning minimiert. Bemerkenswerterweise erreicht HarMA ohne Verwendung zusätzlicher Trainingsdaten Spitzenleistungen bei zwei gängigen multimodalen Retrieval-Aufgaben im Bereich der Fernerkundung. Unsere Experimente zeigen, dass HarMA mit nur minimalen anpassbaren Parametern konkurrenzfähige bis sogar überlegene Ergebnisse im Vergleich zu vollständig fine-tunenden Modellen erzielt. Aufgrund seiner Einfachheit lässt sich HarMA nahezu in alle bestehenden multimodalen Pretraining-Modelle integrieren. Wir hoffen, dass diese Methode die effiziente Anwendung großer Modelle auf eine Vielzahl nachgeschalteter Aufgaben fördert und gleichzeitig den Ressourcenverbrauch erheblich reduziert. Der Quellcode ist unter https://github.com/seekerhuang/HarMA verfügbar.