TrackingNet ist ein umfangreicher Datensatz zur Objektverfolgung, der aus Videos im Außenbereich besteht. Der Datensatz enthält 30.643 Videoclips, aufgeteilt in 30.132 Trainingsvideos und 511 Testvideos, mit durchschnittlich 470,9 Bildern pro Video.

Der Datensatz enthält mehr als 14 Millionen dichte Begrenzungsrahmenanmerkungen und deckt eine Vielzahl von Außenszenarien ab, darunter verschiedene Bildraten, Auflösungen, Kontextszenen und Zielkategorien.

Anders als frühere Zielverfolgungsdatensätze ist TrackingNet in zwei Teile unterteilt: Trainingssatz und Testsatz. Die Autoren wählten sorgfältig 30.132 Trainingsvideos aus Youtube-Bounding Boxes aus und erstellten 511 Videos mit ähnlicher Verteilung wie der Trainingssatz, um einen Testsatz zu bilden.