(AF)²-S3Net: Aufmerksamkeitsbasierte Merkmalsfusion mit adaptiver Merkmalsauswahl für einen spärlichen semantischen Segmentierungsnetzwerk

Autonome robotische Systeme und selbstfahrende Fahrzeuge basieren auf einer präzisen Wahrnehmung ihrer Umgebung, da die Sicherheit von Passagieren und Fußgängern oberste Priorität hat. Die semantische Segmentierung ist eine zentrale Komponente der Umweltwahrnehmung, die semantische Informationen über die Szene bereitstellt. In jüngster Zeit wurden mehrere Methoden für die 3D-LiDAR-Segmentierung vorgestellt. Obwohl diese Ansätze zu einer verbesserten Leistung führen können, leiden sie entweder unter hoher rechnerischer Komplexität und sind daher ineffizient, oder sie verfügen über unzureichende Detailgenauigkeit bei kleineren Objekten. Um dieses Problem zu mildern, stellen wir AF2-S3Net vor – ein end-to-end-Encoder-Decoder-CNN-Netzwerk für die 3D-LiDAR-Semantiksegmentierung. Wir führen einen neuartigen mehrfach verzweigten, aufmerksamkeitsbasierten Merkmalsfusionsmodul im Encoder sowie einen einzigartigen adaptiven Merkmalsauswahlmodul mit Re-Weighting von Merkmalskarten im Decoder ein. Unser AF2-S3Net integriert das Voxel-basierte und das Punkt-basierte Lernen in einen einheitlichen Rahmen, um große 3D-Szenen effektiv zu verarbeiten. Unsere experimentellen Ergebnisse zeigen, dass die vorgeschlagene Methode die derzeit besten Ansätze auf der großskaligen SemanticKITTI-Benchmark-Plattform übertrifft und bei Veröffentlichung an erster Stelle der öffentlichen Rangliste steht.