FEANet: Feature-Enhanced Attention Network für RGB-Thermal Echtzeit-Semantische Segmentierung

Die RGB-Thermal-(RGB-T)-Information für die semantische Segmentierung wurde in den letzten Jahren umfassend erforscht. Allerdings kompromittiert die meisten bestehenden Methoden zur RGB-T-Segmentierung typischerweise die räumliche Auflösung, um eine Echtzeit-Inferenzgeschwindigkeit zu erreichen, was zu einer schlechten Leistung führt. Um detaillierte räumliche Informationen besser zu extrahieren, schlagen wir ein zweistufiges Feature-Enhanced Attention Network (FEANet) für die Aufgabe der RGB-T-Segmentierung vor. Insbesondere führen wir ein Feature-Enhanced Attention Module (FEAM) ein, das mehrstufige Merkmale sowohl aus kanal- als auch aus räumlicher Perspektive ausgräbt und verstärkt. Dank des vorgeschlagenen FEAM-Moduls kann unser FEANet die räumliche Information bewahren und den Fokus stärker auf hochauflösende Merkmale aus den fusionierten RGB-T-Bildern verlagern. Umfangreiche Experimente auf einem urbanen Szenen-Datensatz zeigen, dass unser FEANet andere state-of-the-art (SOTA)-Methoden für RGB-T-Segmentierung hinsichtlich objektiver Metriken und subjektiver visueller Bewertung übertrifft (±2,6 % in global mAcc und ±0,8 % in global mIoU). Für RGB-T-Testbilder der Größe 480 × 640 erreicht unser FEANet eine Echtzeit-Geschwindigkeit auf einer NVIDIA GeForce RTX 2080 Ti Grafikkarte.