MLPD: Multi-Label Pedestrian Detector im Multispektralbereich

Die multispektrale Fußgängererkennung wird aktiv erforscht, da sie als vielversprechende multimodale Lösung zur Bewältigung von Änderungen in Beleuchtung und Wetterbedingungen gilt. Die meisten multimodalen Ansätze gehen von der Annahme aus, dass alle Eingabedaten vollständig überlappend sind. In der Praxis sind solche Datensätze jedoch aufgrund der Komplexität der bestehenden Sensorkonfigurationen selten. In diesem Brief behandeln wir die multispektrale Fußgängererkennung unter der Annahme, dass die Eingabedaten nicht paariert sind. Dazu stellen wir einen neuartigen Einphasen-Detektionsrahmen vor, der Multi-Label-Lernen nutzt, um eingabeszustandsabhängige Merkmale zu lernen, indem jeweils ein separates Label basierend auf dem gegebenen Zustand des Eingabebildpaares zugewiesen wird. Zudem präsentieren wir eine neue Augmentierungsstrategie, bei der geometrische Transformationen eingesetzt werden, um unpaarige multispektrale Bilder zu synthetisieren. In umfangreichen Experimenten zeigen wir die Wirksamkeit des vorgeschlagenen Ansatzes unter verschiedenen realen Bedingungen, wie beispielsweise vollständig überlappenden und teilweise überlappenden Bildern im Stereo-Bildverarbeitungsrahmen. Der Quellcode und ein Demonstrationsvideo sind unter https://github.com/sejong-rcv/MLPD-Multi-Label-Pedestrian-Detection verfügbar.