RMS-Net: Regression und Maskierung für das Erkennen von Fußballereignissen

Die kürzlich vorgeschlagene Aufgabenstellung des Action Spotting besteht darin, den genauen Zeitstempel zu finden, zu dem ein Ereignis auftritt. Diese Aufgabe eignet sich besonders gut für Fußballvideos, bei denen die Ereignisse auf scharf umrissene Aktionen zurückgeführt werden können, die durch die Fußballregeln streng definiert sind (ein Tor fällt, wenn der Ball die Torlinie überquert). In dieser Arbeit entwickeln wir ein leichtgewichtiges und modulares Netzwerk für das Action Spotting, das in der Lage ist, gleichzeitig das Ereignislabel und seinen zeitlichen Offset mithilfe derselben zugrundeliegenden Merkmale vorherzusagen. Wir ergänzen unser Modell mit zwei Trainingsstrategien: Die erste dient zur Datenbalancierung und gleichmäßigen Stichprobenziehung, während die zweite dazu beiträgt, unsichere Frames zu maskieren und die visuellen Merkmale mit der höchsten Diskriminativität zu behalten. Bei Tests auf dem SoccerNet-Datensatz und unter Verwendung von Standardmerkmalen übertreffen unsere vollständigen Vorschläge den aktuellen Stand der Technik um 3 Average-mAP-Punkte. Zudem erreicht es einen Gewinn von mehr als 10 Average-mAP-Punkten im Testdatensatz, wenn es in Kombination mit einem starken 2D-Backbone feintuneig gemacht wird.