ECA-Net: Effiziente Kanal-Aufmerksamkeit für tiefe Faltungsneuronale Netze

Kürzlich hat sich gezeigt, dass der Kanal-Attention-Mechanismus großes Potenzial besitzt, die Leistung von tiefen konvolutionellen neuronalen Netzwerken (CNNs) zu verbessern. Allerdings konzentrieren sich die meisten bestehenden Ansätze auf die Entwicklung komplexerer Aufmerksamkeitsmodule zur Erzielung besserer Leistung, was zwangsläufig die Modellkomplexität erhöht. Um dieses Dilemma zwischen Leistung und Komplexität zu überwinden, schlagen wir einen effizienten Kanal-Attention-(ECA)-Modul vor, der nur eine geringe Anzahl an Parametern erfordert, jedoch eine deutliche Leistungssteigerung ermöglicht. Durch die Analyse des Kanal-Attention-Moduls in SENet zeigen wir empirisch, dass die Vermeidung einer Dimensionsreduktion für die Lernung von Kanal-Attention von entscheidender Bedeutung ist. Gleichzeitig kann eine angemessene interkanaläre Wechselwirkung die Leistung erhalten, während die Modellkomplexität erheblich reduziert wird. Daher schlagen wir eine lokale interkanaläre Wechselwirkungsstrategie ohne Dimensionsreduktion vor, die effizient mittels 1D-Faltung implementiert werden kann. Zudem entwickeln wir eine Methode zur adaptiven Auswahl der Faltungskerngröße der 1D-Faltung, um die Reichweite der lokalen interkanalären Wechselwirkung zu bestimmen. Der vorgeschlagene ECA-Modul ist sowohl effizient als auch wirksam: Im Vergleich zum Backbone ResNet50 betragen die Parameteranzahl und die Berechnungskosten unseres Moduls 80 gegenüber 24,37 Mio. Parametern und 4,7 × 10⁻⁴ GFLOPs gegenüber 3,86 GFLOPs. Die Leistungssteigerung erreicht dabei mehr als 2 Prozentpunkte in Bezug auf die Top-1-Accuracy. Wir evaluieren unseren ECA-Modul umfassend anhand von Bildklassifikation, Objekterkennung und Instanzsegmentierung mit Backbone-Architekturen wie ResNets und MobileNetV2. Die experimentellen Ergebnisse zeigen, dass unser Modul nicht nur effizienter ist, sondern auch gegenüber seinen Konkurrenten hervorragend abschneidet.