HyperAIHyperAI

Command Palette

Search for a command to run...

RGB-T Verfolgung durch multimodales gegenseitiges Prompt-Lernen

Yang Luo Xiqing Guo Hui Feng Lei Ao

Zusammenfassung

Die Objektverfolgung auf der Grundlage der Fusion von sichtbaren und thermischen Bildern, auch als RGB-T-Verfolgung bekannt, hat in den letzten Jahren zunehmendes Interesse von Forschern gefunden. Die Herausforderung besteht darin, eine umfassendere Fusion der Informationen aus beiden Modalitäten mit geringeren Rechenkosten zu erreichen, ein Problem, das die Forscher intensiv erforschen. Kürzlich hat sich das prompt-basierte Lernen im Bereich der Computer Vision durchgesetzt, wodurch Wissen von großen visuellen Modellen effizient auf nachgelagerte Aufgaben übertragen werden kann. Angesichts der starken Komplementarität zwischen sichtbaren und thermischen Modalitäten schlagen wir eine Verfolgungsarchitektur vor, die auf gegenseitigem prompt-basiertem Lernen zwischen den beiden Modalitäten basiert. Zudem haben wir einen leichten Prompter entwickelt, der Aufmerksamkeitsmechanismen in zwei Dimensionen integriert, um Informationen von einer Modalität zur anderen mit geringeren Rechenkosten zu übertragen und diesen in jede Schicht des Backbones einzubinden. Umfangreiche Experimente haben gezeigt, dass unsere vorgeschlagene Verfolgungsarchitektur sowohl effektiv als auch effizient ist und state-of-the-art-Leistungen erzielt, während sie gleichzeitig hohe Laufzeiten aufrechterhält.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp