Duality-Gated Mutual Condition Network für RGBT-Verfolgung

Niedrige Qualitätsmodalitäten enthalten nicht nur viel rauschige Information, sondern auch einige diskriminierende Merkmale im RGBT-Verfolgungssystem. Allerdings werden die Potenziale niedriger Qualitätsmodalitäten in existierenden RGBT-Verfolgungsalgorithmen nicht ausreichend genutzt. In dieser Arbeit schlagen wir ein neues Doppelgate-Mutual-Condition-Netzwerk vor, um die diskriminierenden Informationen aller Modalitäten vollständig zu nutzen und gleichzeitig die Auswirkungen von Datenrauschen zu unterdrücken. Insbesondere entwickeln wir ein Mutual-Condition-Modul, das die diskriminierenden Informationen einer Modalität als Bedingung verwendet, um das Lernen der Merkmale des Zielobjekts in einer anderen Modalität zu leiten. Dieses Modul kann die Zielrepräsentationen aller Modalitäten effektiv verbessern, selbst wenn niedrige Qualitätsmodalitäten vorhanden sind. Um die Qualität der Bedingungen weiter zu verbessern und das Datenrauschen weiter zu reduzieren, schlagen wir einen Doppelgate-Mechanismus vor und integrieren ihn in das Mutual-Condition-Modul. Um Verfolgungsfehlschläge aufgrund plötzlicher Kamerabewegungen zu vermeiden, die oft im RGBT-Verfolgungssystem auftreten, entwickeln wir eine Resampling-Strategie basierend auf optischen Flussalgorithmen. Diese Strategie führt nicht zu erheblichen zusätzlichen Rechenkosten, da wir den optischen Fluss nur dann berechnen, wenn die Modellvorhersage unzuverlässig ist, und anschließend Resampling durchführen, wenn plötzliche Kamerabewegungen festgestellt werden. Ausführliche Experimente auf vier RGBT-Verfolgungs-Benchmark-Datensätzen zeigen, dass unsere Methode sich günstig mit den besten aktuellen Verfolgungsalgorithmen vergleicht.注释：- "RGBT" 通常指 "Red-Green-Blue-Thermal"（红绿蓝热），在德语中也直接使用 "RGBT"。- "Doppelgate-Mutual-Condition-Netzwerk" 是对 "duality-gated mutual condition network" 的翻译，其中 "Doppelgate" 指的是双门机制，而 "Mutual Condition" 保留了原始术语的含义。- "optischer Fluss" 是对 "optical flow" 的标准德语翻译。