Echtzeit-3D-Deep-Multi-Kamera-Verfolgung

Die 3D-Verfolgung einer Menschenmenge mithilfe mehrerer RGB-Kameras stellt eine anspruchsvolle Aufgabe dar. Die meisten bisherigen Algorithmen für die Mehrkamerasverfolgung sind für den Offline-Betrieb konzipiert und weisen eine hohe rechnerische Komplexität auf. Eine robuste Echtzeit-Verfolgung in 3D mit mehreren Kameras bleibt weiterhin eine ungelöste Herausforderung. In dieser Arbeit stellen wir einen neuartigen end-to-end-Verfolgungspfad vor, Deep Multi-Camera Tracking (DMCT), der eine zuverlässige Echtzeit-Verfolgung mehrerer Personen mit mehreren Kameras ermöglicht. Unser DMCT besteht aus vier Komponenten: 1) einem schnellen und neuartigen perspektivbewussten Deep GroundPoint-Netzwerk, 2) einem Fusionsverfahren zur Schätzung der Bodenflächen-Auslastungshitmap, 3) einem neuartigen Deep Glimpse-Netzwerk zur Personen-Detektion und 4) einem schnellen und präzisen Online-Tracker. Unser Entwurf nutzt die volle Leistungsfähigkeit tiefer neuronalen Netze, um den „Ground Point“ (Bodenpunkt) jeder Person in jedem Farbbild zu schätzen, wobei die Berechnung effizient und robust optimiert werden kann. Das Fusionsverfahren, das Glimpse-Netzwerk und der Tracker kombinieren die Ergebnisse aus verschiedenen Blickwinkeln, identifizieren Personenkandidaten über mehrere Videoframes hinweg und verfolgen die Personen schließlich auf der gefussten Hitmap. Unser System erreicht die derzeit besten Verfolgungsergebnisse bei gleichzeitiger Aufrechterhaltung von Echtzeit-Leistung. Neben der Bewertung auf dem anspruchsvollen WILDTRACK-Datensatz haben wir zwei zusätzliche Verfolgungsdatensätze mit hochwertigen Etikettierungen aus zwei unterschiedlichen Umgebungen und Kameraeinstellungen gesammelt. Unsere experimentellen Ergebnisse bestätigen, dass unser vorgeschlagener Echtzeit-Pfad gegenüber früheren Ansätzen überlegene Ergebnisse liefert.