HyperAIHyperAI

Command Palette

Search for a command to run...

Alles Erkannte assoziieren: Die Förderung der Verfolgung durch Erkennung auf Unbekanntes

Zimeng Fang Chao Liang Xue Zhou Shuyuan Zhu, Member, IEEE Xi Li, Senior Member, IEEE

Zusammenfassung

Die Mehrzielverfolgung (MOT) etabliert sich als eine entscheidende und hochversprechende Disziplin im Bereich der Computer Vision. Klassische geschlossene-Vokabular-MOT-Methoden (CV-MOT) zielen darauf ab, Objekte vordefinierter Kategorien zu verfolgen. Kürzlich haben einige offene-Vokabular-MOT-Methoden (OV-MOT) das Problem der Verfolgung unbekannter Kategorien erfolgreich gelöst. Dennoch stellten wir fest, dass sowohl CV-MOT- als auch OV-MOT-Methoden Schwierigkeiten haben, in den Aufgaben des jeweils anderen Ansatzes hervorragend zu performen. In dieser Arbeit präsentieren wir ein vereintes Framework, „Associate Everything Detected“ (AED), das CV-MOT und OV-MOT gleichzeitig angeht, indem es mit jedem beliebigen Standard-Detektor integriert wird und unbekannte Kategorien unterstützt. Im Gegensatz zu bestehenden detektionsbasierten MOT-Methoden befreit sich AED von Vorwissen (z.B. Bewegungshinweisen) und stützt sich ausschließlich auf hochrobustes Feature Learning, um komplexe Trajektorien in OV-MOT-Aufgaben zu bewältigen, während es gleichzeitig ausgezeichnete Leistungen in CV-MOT-Aufgaben erbringt. Insbesondere modellieren wir die Zuordnungsaufgabe als ein Ähnlichkeitsdecodierungsproblem und schlagen einen sim-decoder mit einem zuordnungsorientierten Lernmechanismus vor. Der sim-decoder berechnet Ähnlichkeiten in drei Aspekten: räumlich, zeitlich und über Clips hinweg. Anschließend nutzt das zuordnungsorientierte Lernen diese dreifachen Ähnlichkeiten, um sicherzustellen, dass die extrahierten Features für die kontinuierliche Verfolgung geeignet sind und robust genug, um auf unbekannte Kategorien zu generalisieren. Verglichen mit bestehenden leistungsfähigen OV-MOT- und CV-MOT-Methoden erreicht AED überlegene Leistungen auf TAO, SportsMOT und DanceTrack ohne jegliches Vorwissen. Unser Code ist unter https://github.com/balabooooo/AED verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp