Von Zwei-Strömen zu Einem Strom: Effiziente RGB-T-Verfolgung durch gegenseitiges Prompt-Lernen und Wissensdistillierung

Aufgrund der komplementären Natur von sichtbarem Licht und thermischem Infrarot, hat die Objektverfolgung basierend auf der Fusion von sichtbaren Lichtbildern und Thermobildern (als RGB-T-Verfolgung bezeichnet) in den letzten Jahren zunehmendes Interesse von Forschern gefunden. Die Frage, wie eine umfassendere Fusion der Informationen aus beiden Modalitäten zu geringeren Kosten erreicht werden kann, ist ein Problem, das die Forscher untersuchen. Inspiriert durch visuelles Prompt-Lernen, haben wir eine neuartige zweistrom-basierte RGB-T-Verfolgungsarchitektur entwickelt, die auf dem gegenseitigen Prompt-Lernen über Modalitätengrenzen hinweg basiert. Mit diesem Modell als Lehrer wurde ein einströmiger Schülermodell durch Wissensdistillations-Techniken zur schnellen Lernförderung geleitet. Umfangreiche Experimente haben gezeigt, dass unser entwickeltes Lehrermodell im Vergleich zu ähnlichen RGB-T-Verfolgern die höchste Präzisionsrate erzielte. Das Schülermodell erreichte dabei eine vergleichbare Präzisionsrate wie das Lehrermodell und realisierte eine Inferenzgeschwindigkeit, die mehr als dreimal so schnell war wie die des Lehrermodells. (Die Codes werden bei Annahme verfügbar sein.)