MFNet: Ein Schritt hin zu einer Echtzeit-Semantiksegmentierung für autonome Fahrzeuge unter Verwendung von multispektralen Szenen

Diese Arbeit befasst sich mit der semantischen Segmentierung von Straßenbildern für autonome Fahrzeuge basierend auf einem neu eingeführten RGB-Thermal-Datensatz. Die zunehmende Interesse an selbstfahrenden Fahrzeugen hat die Anpassung der semantischen Segmentierung für autonome Systeme vorangetrieben. Allerdings basieren aktuelle Forschungsarbeiten zur semantischen Segmentierung hauptsächlich auf RGB-Bildern, die unter Bedingungen schlechter Sicht, beispielsweise nachts oder bei ungünstigen Wetterverhältnissen, erfasst wurden. Zudem konzentrieren sich die meisten dieser Methoden ausschließlich auf die Verbesserung der Leistung, während sie die Rechenzeit vernachlässigen. Diese Probleme haben uns veranlasst, eine neue architektonische Lösung für konvolutionale neuronale Netze vorzuschlagen, die für die Segmentierung multispektraler Bilder geeignet ist und gleichzeitig eine hohe Segmentierungsgenauigkeit auch bei Echtzeitoperationen gewährleistet. Wir haben unsere Methode evaluiert, indem wir einen RGB-Thermal-Datensatz erstellt haben, in dem thermische und RGB-Bilder synchronisiert kombiniert wurden. Unsere Ergebnisse zeigen, dass die Segmentierungsgenauigkeit signifikant durch die Integration von thermoinfraroter Information verbessert wird.