Alles Erkannte assoziieren: Die Förderung der Verfolgung durch Erkennung auf Unbekanntes

Die Mehrzielverfolgung (MOT) etabliert sich als eine entscheidende und hochversprechende Disziplin im Bereich der Computer Vision. Klassische geschlossene-Vokabular-MOT-Methoden (CV-MOT) zielen darauf ab, Objekte vordefinierter Kategorien zu verfolgen. Kürzlich haben einige offene-Vokabular-MOT-Methoden (OV-MOT) das Problem der Verfolgung unbekannter Kategorien erfolgreich gelöst. Dennoch stellten wir fest, dass sowohl CV-MOT- als auch OV-MOT-Methoden Schwierigkeiten haben, in den Aufgaben des jeweils anderen Ansatzes hervorragend zu performen. In dieser Arbeit präsentieren wir ein vereintes Framework, „Associate Everything Detected“ (AED), das CV-MOT und OV-MOT gleichzeitig angeht, indem es mit jedem beliebigen Standard-Detektor integriert wird und unbekannte Kategorien unterstützt. Im Gegensatz zu bestehenden detektionsbasierten MOT-Methoden befreit sich AED von Vorwissen (z.B. Bewegungshinweisen) und stützt sich ausschließlich auf hochrobustes Feature Learning, um komplexe Trajektorien in OV-MOT-Aufgaben zu bewältigen, während es gleichzeitig ausgezeichnete Leistungen in CV-MOT-Aufgaben erbringt. Insbesondere modellieren wir die Zuordnungsaufgabe als ein Ähnlichkeitsdecodierungsproblem und schlagen einen sim-decoder mit einem zuordnungsorientierten Lernmechanismus vor. Der sim-decoder berechnet Ähnlichkeiten in drei Aspekten: räumlich, zeitlich und über Clips hinweg. Anschließend nutzt das zuordnungsorientierte Lernen diese dreifachen Ähnlichkeiten, um sicherzustellen, dass die extrahierten Features für die kontinuierliche Verfolgung geeignet sind und robust genug, um auf unbekannte Kategorien zu generalisieren. Verglichen mit bestehenden leistungsfähigen OV-MOT- und CV-MOT-Methoden erreicht AED überlegene Leistungen auf TAO, SportsMOT und DanceTrack ohne jegliches Vorwissen. Unser Code ist unter https://github.com/balabooooo/AED verfügbar.