HyperAIHyperAI

Command Palette

Search for a command to run...

Lernen der Fusion asymmetrischer Merkmalskarten in Siamesischen Verfolgern

Wencheng Han Xingping Dong Fahad Shahbaz Khan Ling Shao Jianbing Shen

Zusammenfassung

Kürzlich haben Siamese-basierte Verfolgungsmethoden vielversprechende Leistungen in der visuellen Verfolgung erzielt. Die meisten aktuellen Siamese-basierten Tracker verwenden typischerweise eine depth-wise cross-correlation (DW-XCorr), um aus zwei Featurekarten (Ziel und Suchregion) informationsreiche Mehrkanal-Korrelationsinformationen zu extrahieren. Dennoch weist DW-XCorr mehrere Einschränkungen im Kontext Siamese-basierter Verfolgung auf: Sie ist anfällig für Ablenkungen (distractors), verfügt über wenige aktivierte Kanäle und bietet eine schwache Differenzierung von Objekträndern. Zudem handelt es sich bei DW-XCorr um ein handgefertigtes, parameterfreies Modul, das nicht vollständig von der Offline-Lernung an großskaligen Datensätzen profitieren kann. Wir schlagen ein lernbares Modul namens asymmetrische Faltung (asymmetric convolution, ACM) vor, das im Offline-Lernprozess auf großskaligen Datensätzen darauf trainiert wird, semantische Korrelationsinformationen effizienter zu erfassen. Im Gegensatz zu DW-XCorr und deren Vorgänger (XCorr), die eine einzelne Featurekarte als Faltungskern betrachten, zerlegt unser ACM die Faltung auf einer verketteten Featurekarte in zwei mathematisch äquivalente Operationen. Dadurch entfällt die Notwendigkeit, dass die Featurekarten bei der Verkettung identische Abmessungen (Breite und Höhe) aufweisen müssen. Unser ACM kann zusätzliche vorherige Wissensinformationen – wie z. B. die Größe des Bounding-Boxes – nahtlos mit herkömmlichen visuellen Merkmalen kombinieren. Darüber hinaus lässt sich ACM problemlos in bestehende Siamese-Tracker integrieren, die auf DW-XCorr oder XCorr basieren. Um die Verallgemeinerungsfähigkeit zu demonstrieren, integrieren wir ACM in drei repräsentative Tracker: SiamFC, SiamRPN++ und SiamBAN. Unsere Experimente belegen die Vorteile des vorgeschlagenen ACM, das auf sechs verschiedenen Verfolgungsbenchmark-Datensätzen die bestehenden Methoden übertrifft. Auf dem LaSOT-Testset erreicht der auf ACM basierende Tracker eine signifikante Verbesserung von 5,8 % in Bezug auf die Erfolgsrate (AUC) im Vergleich zur Basislinie.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp