Mehrkamera-Trajektorien-Übereinstimmung basierend auf hierarchischer Clusteralgorithmus und Constraints

Die rasante Entwicklung von Deep-Learning-Verfahren hat bedeutende Durchbrüche in der Bildklassifikation, Objektdetektion und Objektsverfolgung ermöglicht. Autonome Fahrsysteme und Verkehrsüberwachungssysteme profitieren insbesondere von jüngsten Fortschritten, sofern sie mit fest installierten, mehrkamerigen Konfigurationen an stationären Standorten ausgestattet sind. In diesem Beitrag stellen wir ein Multi-Camera Multi-Target (MCMT)-Fahrzeugverfolgungssystem vor, das auf einer eingeschränkten hierarchischen Clustering-Lösung basiert und die Trajektorien-Übereinstimmung verbessert, wodurch eine robusteren Verfolgung von Objekten bei deren Übergang zwischen Kameras erreicht wird. Zur Fahrzeugdetektion und -verfolgung werden die Netzwerke YOLOv5, ByteTrack und ResNet50-IBN ReID eingesetzt. Statische Merkmale wie Fahrzeugtyp und Fahrzeugfarbe werden aus ReID-Features mittels Support Vector Machine (SVM) bestimmt. Die vorgeschlagene, auf ReID-Features basierende Attributkategorisierung zeigt eine bessere Leistung als ihre reine CNN-Alternative. Einzelkamera-Trajektorien (Single-Camera Trajectories, SCTs) werden mittels hierarchischer agglomerativer Clustering (HAC) unter zeitlichen und räumlichen Einschränkungen zu mehrkamera-Trajektorien (Multi-Camera Trajectories, MCTs) kombiniert (unser vorgeschlagenes Verfahren wird als MCT#MAC bezeichnet). Die Ähnlichkeit zwischen SCTs wird durch den Vergleich der auf der Trajektorie kumulierten mittleren ReID-Features ermittelt. Das System wurde auf mehreren Datensätzen evaluiert, und unsere Experimente zeigen, dass die Beschränkung des HAC durch Manipulation der Nähe-Matrix die Multi-Camera-IDF1-Score erheblich verbessert.