Lernen der Datenassoziation für die Multi-Objektverfolgung unter Verwendung nur von Koordinaten

Wir schlagen ein neuartiges, auf Transformers basierendes Modul zur Lösung des Data-Association-Problems im Mehrobjektverfolgungsparadigma vor. Aus Detektionen, die von einem vortrainierten Detektor stammen, nutzt dieses Modul ausschließlich die Koordinaten von Bounding Boxes, um eine Affinitätsbewertung zwischen Paaren von Tracks zu schätzen, die aus zwei unterschiedlichen zeitlichen Fenstern extrahiert wurden. Das Modul, benannt TWiX, wird an Mengen von Tracks trainiert, um Paare von Tracks, die vom selben Objekt stammen, von solchen zu unterscheiden, die nicht vom selben Objekt stammen. Unser Modul verwendet weder die Intersection-over-Union-Maßzahl noch erfordert es Bewegungspriorisierungen oder Techniken zur Kamerabewegungskompensation. Durch die Integration von TWiX in eine Online-Cascade-Matching-Pipeline erreicht unser Tracker C-TWiX state-of-the-art Ergebnisse auf den Datensätzen DanceTrack und KITTIMOT sowie konkurrenzfähige Ergebnisse auf dem MOT17-Datensatz. Der Quellcode wird nach der Veröffentlichung zugänglich gemacht.