SportsMOT: Ein großes Multi-Object Tracking-Datensatz in mehreren Sportumgebungen

Die Multi-Objekt-Verfolgung (Multi-Object Tracking, MOT) in Sport-Szenen spielt eine entscheidende Rolle bei der Erfassung von Spielerstatistiken und unterstützt zukünftige Analysen, beispielsweise die automatisierte taktische Analyse. Bisherige MOT-Benchmarks widmen diesem Bereich jedoch nur geringe Aufmerksamkeit, was die Entwicklung einschränkt. In dieser Arbeit präsentieren wir ein neues, großskaliges Multi-Objekt-Tracking-Dataset für vielfältige Sportarten, das als \emph{SportsMOT} bezeichnet wird, bei dem alle Spieler auf dem Spielfeld verfolgt werden sollen. Das Dataset umfasst 240 Videosequenzen, über 150.000 Frames (nahezu das 15-fache von MOT17) und über 1,6 Millionen Bounding Boxes (das 3-fache von MOT17), die aus drei Sportarten – Basketball, Volleyball und Fußball – zusammengestellt wurden. Unser Dataset zeichnet sich durch zwei zentrale Eigenschaften aus: 1) schnelle und variabel beschleunigte Bewegungen sowie 2) äußerst ähnliche, jedoch unterscheidbare Erscheinungsbilder. Wir erwarten, dass SportsMOT die Entwicklung von MOT-Verfolgern sowohl in der bewegungs- als auch in der erscheinungsbasierten Assoziation voranbringt. Wir benchmarken mehrere state-of-the-art-Tracker und identifizieren, dass die zentrale Herausforderung von SportsMOT in der Objektassoziation liegt. Um dieses Problem zu mildern, schlagen wir einen neuen Multi-Objekt-Tracking-Framework namens \emph{MixSort} vor, der eine MixFormer-ähnliche Struktur als ergänzende Assoziationskomponente in etablierte Tracking-by-Detection-Tracker integriert. Durch die Kombination einer maßgeschneiderten erscheinungsbasierten Assoziation mit der ursprünglichen bewegungsbasierten Assoziation erreicht MixSort state-of-the-art-Leistung sowohl auf SportsMOT als auch auf MOT17. Auf Basis von MixSort führen wir eine detaillierte Analyse durch und geben tiefe Einblicke in die Besonderheiten von SportsMOT. Das Dataset und der zugehörige Code werden unter https://deeperaction.github.io/datasets/sportsmot.html verfügbar gemacht.