In dieser Arbeit stellen wir SoccerNet vor, eine Referenzdatensammlung für die Erkennung von Aktionen in Fußballvideos. Der Datensatz besteht aus 500 vollständigen Fußballspielen der sechs wichtigsten europäischen Ligen und umfasst drei Spielzeiten von 2014 bis 2017 mit einer Gesamtdauer von 764 Stunden. Insgesamt wurden 6.637 zeitliche Annotationen automatisch aus Online-Spielberichten mit einer Auflösung von einer Minute für drei Hauptereignisklassen (Tore, Gelbe/Rote Karte und Spielerwechsel) extrahiert. Dadurch ist der Datensatz leicht erweiterbar. Diese Annotationen wurden manuell auf eine Auflösung von einer Sekunde verfeinert, indem sie an einem einzelnen Zeitstempel gemäß klar definierten Fußballregeln angeordnet wurden. Mit durchschnittlich einem Ereignis alle 6,9 Minuten konzentriert sich dieser Datensatz auf das Problem der Lokalisierung sehr spärlicher Ereignisse innerhalb langer Videos. Wir definieren die Aufgabe des Spotting als die Identifizierung der Ankerpunkte von Fußballereignissen in einem Video. Indem wir uns auf jüngste Entwicklungen im Bereich der generischen Aktionserkennung und -detektion in Videos stützen, liefern wir starke Baseline-Modelle zur Detektion von Fußballereignissen. Wir zeigen, dass unser bestes Modell zur Klassifikation zeitlicher Segmente mit einer Länge von einer Minute einen mittleren Durchschnittswert der Genauigkeit (mean Average Precision, mAP) von 67,8 % erreicht. Für die Spotting-Aufgabe erreicht unsere Baseline ein Average-mAP von 49,7 % bei Toleranzen $\delta$δ, die zwischen 5 und 60 Sekunden variieren. Unsere Datensätze und Modelle sind unter https://silviogiancola.github.io/SoccerNet verfügbar.