Illuminationsbewusster Faster R-CNN für robuste multispektrale Fußgängererkennung

Mehrbandbilder von Farb-Thermopaarungen haben sich bei der Fußgängererkennung, insbesondere unter schwierigen Beleuchtungsbedingungen, als effektiver erwiesen als ein einzelner Farbkanal. Allerdings fehlen noch Studien zur effektiven Fusion der beiden Modalitäten. In dieser Arbeit vergleichen wir sechs verschiedene Fusionsarchitekturen von Faltungsnetzen und analysieren ihre Anpassungen, wodurch es möglich wird, dass eine Standardarchitektur Erkennungsleistungen erzielt, die den aktuellen besten Ergebnissen entsprechen. Darüber hinaus stellen wir fest, dass die Zuverlässigkeit der Fußgängererkennung in Farb- oder Thermobildern mit den Beleuchtungsbedingungen korreliert. Auf dieser Erkenntnis basierend schlagen wir ein Beleuchtungsbewusstes Faster R-CNN (Illumination-aware Faster R-CNN, IAF R-CNN) vor. Insbesondere wird ein Beleuchtungsbewusstes Netzwerk eingeführt, das eine Beleuchtungsmessung des Eingangsbildes durchführt. Anschließend fusionieren wir die Farb- und Thermounter网泽 (Subnetze) über eine auf dem Beleuchtungswert definierte Gatterfunktion anpassungsfähig. Die experimentellen Ergebnisse am KAIST Mehrband-Fußgänger-Benchmark bestätigen die Effektivität des vorgeschlagenen IAF R-CNN.请注意，最后一句中的“网泽”是中文词汇，可能是笔误。正确的德语翻译应该是“Unternetzwerke”。以下是修正后的版本：Mehrbandbilder von Farb-Thermopaarungen haben sich bei der Fußgängererkennung, insbesondere unter schwierigen Beleuchtungsbedingungen, als effektiver erwiesen als ein einzelner Farbkanal. Allerdings fehlen noch Studien zur effektiven Fusion der beiden Modalitäten. In dieser Arbeit vergleichen wir sechs verschiedene Fusionsarchitekturen von Faltungsnetzen und analysieren ihre Anpassungen, wodurch es möglich wird, dass eine Standardarchitektur Erkennungsleistungen erzielt, die den aktuellen besten Ergebnissen entsprechen. Darüber hinaus stellen wir fest, dass die Zuverlässigkeit der Fußgängererkennung in Farb- oder Thermobildern mit den Beleuchtungsbedingungen korreliert. Auf dieser Erkenntnis basierend schlagen wir ein Beleuchtungsbewusstes Faster R-CNN (Illumination-aware Faster R-CNN, IAF R-CNN) vor. Insbesondere wird ein Beleuchtungsbewusstes Netzwerk eingeführt, das eine Beleuchtungsmessung des Eingangsbildes durchführt. Anschließend fusionieren wir die Farb- und Thermunternetzwerke über eine auf dem Beleuchtungswert definierte Gatterfunktion anpassungsfähig. Die experimentellen Ergebnisse am KAIST Mehrband-Fußgänger-Benchmark bestätigen die Effektivität des vorgeschlagenen IAF R-CNN.