RTFNet: RGB-Thermal-Fusions-Netzwerk für die semantische Segmentierung städtischer Szenen

Semantische Segmentierung ist eine grundlegende Fähigkeit für autonome Fahrzeuge. Durch die Fortschritte in der Technologie des tiefen Lernens wurden in den letzten Jahren zahlreiche effektive Netzwerke für die semantische Segmentierung vorgeschlagen. Allerdings sind die meisten dieser Netzwerke auf RGB-Bilder aus sichtbaren Kameras ausgelegt. Die Qualität dieser RGB-Bilder ist unter ungünstigen Beleuchtungsbedingungen, wie Dunkelheit oder Blendung durch entgegenkommende Scheinwerfer, anfällig für Verschlechterung, was erhebliche Herausforderungen für Netzwerke darstellt, die ausschließlich auf RGB-Daten basieren. Im Gegensatz zu sichtbaren Kameras erzeugen Wärmebildkameras Bilder mithilfe von thermischen Strahlungen und sind in der Lage, auch unter unterschiedlichen Beleuchtungsbedingungen zu funktionieren. Um eine robuste und genaue semantische Segmentierung für autonome Fahrzeuge zu ermöglichen, nutzen wir die Vorteile von Wärmebildern und integrieren sowohl RGB- als auch Wärmebilddaten in einem neuartigen tiefen neuronalen Netzwerk. Der Hauptbeitrag dieses Beitrags liegt in der Architektur des vorgeschlagenen Netzwerks. Wir setzen das Konzept eines Encoder-Decoder-Netzwerks um. Zur Merkmalsextraktion wird ResNet eingesetzt, und ein neuer Decoder wurde entwickelt, um die Auflösung der Merkmalskarten wiederherzustellen. Die experimentellen Ergebnisse belegen, dass unser Netzwerk die bisherigen State-of-the-Art-Methoden übertrifft.