FTNet: Feature Transverse Network für die semantische Segmentierung von Wärmebilddaten

Thermografie ist ein Verfahren zur Erfassung von Informationen über Objekte mithilfe von Infrarstrahlung und thermischer Energie. Sie übertrifft die sichtbare Bildgebung hinsichtlich ihrer Fähigkeit, auch bei Dunkelheit zu funktionieren und Lichtintensitätsvariationen zu tolerieren. Zudem besitzt sie das Potenzial, Rauch, Aerosole, Staub und Nebel zu durchdringen – Materialien, die für die sichtbare Bildgebung, einschließlich der semantischen Segmentierung, entscheidende Hemmnisse darstellen. Leider konzentrieren sich aktuelle state-of-the-art-Methoden zur semantischen Bildsegmentierung (i) hauptsächlich auf Bilder im sichtbaren Spektrum, wodurch der Kontext entsprechender Pixel, insbesondere Kanteninformationen in thermischen Bildern, nicht ausreichend erfasst wird, und (ii) erfordern einen Kompromiss zwischen höherer Genauigkeit und geringerer Geschwindigkeit oder umgekehrt. Hier wird eine neuartige, end-to-end trainierbare architektonische Lösung basierend auf konvolutionellen neuronalen Netzen vorgestellt, das sogenannte Feature Transverse Network (FTNet), um die genannten Probleme zu lösen. FTNet erfasst und optimiert die Merkmalsdarstellung auf mehreren Skalen, wodurch die Fähigkeit zur Verarbeitung hochauflösender Bilder verbessert wird und gleichzeitig qualitativ hochwertige Ausgaben mit geringerem Rechenaufwand erzielt werden. Um die Wirksamkeit des vorgeschlagenen FTNet im Vergleich zu bestehenden state-of-the-art-Methoden zu demonstrieren, wurden umfangreiche computergestützte Experimente an öffentlich verfügbaren Benchmark-Datensätzen für thermische Bilder durchgeführt, darunter SODA, MFNet und SCUT-Seg. Der Vergleich umfasst verschiedene Aspekte, darunter quantitative Genauigkeit und Verarbeitungsgeschwindigkeit verschiedener Ansätze. Der Quellcode ist unter https://github.com/shreyaskamathkm/FTNet verfügbar.