Multispektrale Fußgängererkennung durch gleichzeitige Erkennung und Segmentierung

Die multische Spektralpedestrienerkennung hat in der Forschergemeinschaft zunehmend an Bedeutung gewonnen, aufgrund ihrer entscheidenden Kompetenz für viele rund um die Uhr betriebene Anwendungen (z.B. Videoüberwachung und autonome Fahrzeuge), insbesondere unter Bedingungen unzureichender Beleuchtung. Wir erstellen eine menschliche Baseline über das KAIST-Datensatz und zeigen, dass es noch einen großen Unterschied zwischen den aktuellen besten Erkennungsverfahren und der menschlichen Leistung gibt. Um diese Lücke zu schließen, schlagen wir eine Netzwerkfusionsarchitektur vor, die aus einem multischen Spektralvorschlagsnetz besteht, das Vorschläge für Fußgänger generiert, und einem nachfolgenden multischen Spektralklassifikationsnetz, das Fußgängerklassen von schwierigen Falschpositiven unterscheidet. Das einheitliche Netzwerk wird durch die gemeinsame Optimierung von Pedestrienerkennungs- und semantischer Segmentierungsaufgaben gelernt. Die endgültigen Erkennungen werden durch die Integration der Ausgaben verschiedener Modalitäten sowie der beiden Stufen erzielt. Der Ansatz übertreffen signifikant die bislang besten Methoden im KAIST-Datensatz und bleibt dabei schnell. Darüber hinaus liefern wir eine gereinigte Version der Trainingsannotierungen für den KAIST-Datensatz und untersuchen die Auswirkungen verschiedener Arten von Annotationfehlern. Zukünftige Forschungen zu diesem Problem werden von der gereinigten Version profitieren, die die Störungen durch Annotationfehler eliminiert.