Detektion, Verfolgung und Zählung trifft auf Drohnen in Menschenmengen: Ein Benchmark

Zur Förderung der Entwicklung von Objekterkennungs-, Verfolgungs- und Zählalgorithmen in von Drohnen aufgenommenen Videos erstellen wir eine Benchmark mit einem neuen, großskaligen, von Drohnen erfassten Datensatz namens DroneCrowd, der aus 112 Videoclips mit insgesamt 33.600 HD-Frames in verschiedenen Szenarien besteht. Insbesondere annotieren wir 20.800 Personen-Tracks mit 4,8 Millionen Köpfen sowie mehrere videobasierte Attribute. Gleichzeitig entwickeln wir das Space-Time Neighbor-Aware Network (STNNet) als starke Baseline, um Objekterkennung, Verfolgung und Zählung gemeinsam in dicht besetzten Menschenmengen zu lösen. STNNet besteht aus einem Merkmalsextraktionsmodul, gefolgt von Dichtekarten-Schätzheadern sowie Lokalisierungs- und Assoziations-Subnetzen. Um die Kontextinformationen benachbarter Objekte auszunutzen, führen wir eine benachbarte Kontextverlustfunktion ein, die den Trainingsprozess des Assoziations-Subnetzes leitet und eine konsistente relative Position benachbarter Objekte im zeitlichen Verlauf erzwingt. Umfangreiche Experimente auf unserem DroneCrowd-Datensatz zeigen, dass STNNet gegenüber den aktuellen Stand der Technik überzeugt.