Sports Re-ID: Verbesserung der Re-Identifikation von Spielern in Übertragungsvideos von Mannschaftssportarten

Diese Arbeit konzentriert sich auf die Spieler-Neuidentifikation in Übertragungsvideos von Mannschaftssportarten. Insbesondere geht es darum, denselben Spieler in Bildern zu identifizieren, die aus verschiedenen Kameraperspektiven zu einem bestimmten Zeitpunkt eines Spiels aufgenommen wurden. Dieser Aufgabenbereich unterscheidet sich in mehreren wesentlichen Aspekten von traditionellen Anwendungen der Person-Neuidentifikation (person re-identification). Erstens tragen Spieler derselben Mannschaft äußerst ähnliche Trikots, was ihre Unterscheidung erschwert. Zweitens stehen für jede Identität nur wenige Trainingsbeispiele zur Verfügung, was die Ausbildung eines Re-ID-Systems erschwert. Drittens sind die Bildauflösungen oft sehr gering und variieren stark. Dies, kombiniert mit starken Verdeckungen und schnellen Bewegungen der Spieler, erhöht die Herausforderungen für die Neuidentifikation erheblich. In diesem Artikel stellen wir ein einfaches, jedoch wirksames hierarchisches Datensampling-Verfahren sowie eine Zentroid-Verlustfunktion vor, die, gemeinsam eingesetzt, die mittlere durchschnittliche Genauigkeit (mean average precision, mAP) um 7 bis 11,5 und die Rank-1-Genauigkeit (R1) um 8,8 bis 14,9 erhöhen, ohne dass Netzwerkarchitektur oder Hyperparameter verändert werden müssen. Unser Datensampling-Verfahren verbessert die Ähnlichkeit zwischen Trainings- und Testverteilung und unterstützt somit die bessere Schätzung der Zentroide der Embeddings (bzw. Merkmalsvektoren). Überraschenderweise zeigt unsere Studie, dass bei stark begrenzten Daten, wie sie in unserer Anwendung vorliegen, eine einfache Zentroid-Verlustfunktion basierend auf euklidischen Abständen die weit verbreitete Triplet-Centroid-Verlustfunktion deutlich übertrifft. Wir beobachten vergleichbare Verbesserungen sowohl bei konvolutionellen Netzwerken als auch bei Vision Transformers. Unser Ansatz erreicht in der Leaderboard-Rangliste des SoccerNet Re-Identification Challenge 2022 (Test-Split) eine mAP von 86,0 und eine R1 von 81,5 und erzielt auf dem gesicherten Challenge-Split eine mAP von 84,9 und eine R1 von 80,1. Die Forschung zu Re-ID-Anwendungen im Bereich Sport ist bisher äußerst begrenzt, und unsere Arbeit stellt eine der ersten umfassenden Diskussionen zu diesem Thema in der Literatur dar.