Herausforderungsbewusstes RGBT-Verfolgen

RGB- und thermische Quelldaten sind sowohl gemeinsamen als auch spezifischen Herausforderungen ausgesetzt, und die Art und Weise, wie man sie erkundet und nutzt, spielt eine entscheidende Rolle bei der Darstellung des Zielobjekts im RGBT-Tracking. In dieser Arbeit schlagen wir ein neues, auf Herausforderungen abgestimmtes neuronales Netzwerk vor, das sowohl die modalitysgemeinsamen Herausforderungen (z.B. schnelle Bewegung, Skalenvariationen und Verdeckung) als auch die modalitysspezifischen (z.B. Beleuchtungsvariationen und thermische Überlappung) für den RGBT-Tracking bewältigt. Insbesondere entwerfen wir in jeder Schicht mehrere parametergeteilte Zweige, um das Zielobjekt unter den modalitysgemeinsamen Herausforderungen zu modellieren, sowie mehrere parameterunabhängige Zweige für die modalitysspezifischen Herausforderungen. Aufgrund der Beobachtung, dass die modalitysspezifischen Hinweise verschiedener Modalitäten in der Regel komplementäre Vorteile bieten, schlagen wir ein Leitmodul vor, um diskriminierende Merkmale von einer Modalität auf eine andere zu übertragen. Dies kann die diskriminierende Fähigkeit schwächerer Modalitäten verbessern. Darüber hinaus werden alle Zweige auf adaptive Weise zusammengefasst und parallel in das Backbone-Netzwerk eingebettet, um effizient detailliertere Zielrepräsentationen zu bilden. Diese herausforderungsorientierten Zweige können das Zielobjekt unter bestimmten Herausforderungen modellieren, sodass die Zielrepräsentationen auch bei unzureichenden Trainingsdaten mit wenigen Parametern gelernt werden können. Aus den experimentellen Ergebnissen wird hervorgehen, dass unsere Methode in Echtzeit arbeitet und gleichzeitig auf drei Benchmark-Datensätzen ausgezeichnete Leistungen gegenüber den besten bisher bekannten Methoden erzielt.请注意，这里的“modality”在德语中没有一个完全对应的词，因此我使用了“Modalität”来表示。此外，“Backbone-Netzwerk”是“主干网络”的德语翻译，用于指代神经网络中的基础架构部分。