ESNet: Ein effizientes symmetrisches Netzwerk für Echtzeit-Semantische Segmentierung

In den letzten Jahren wurden große Fortschritte bei der semantischen Segmentierung durch tiefgreifende Faltungsneuronale Netze (DCNNs) erzielt. Allerdings führen eine hohe Anzahl von Faltungsschichten und Merkmalskanälen zu einer rechenintensiven Aufgabe, die in Szenarien mit begrenzten Ressourcen nachteilig ist. In dieser Arbeit entwerfen wir ein effizientes symmetrisches Netzwerk, genannt ESNet, um dieses Problem zu lösen. Das gesamte Netzwerk hat eine annähernd symmetrische Architektur, die hauptsächlich aus einer Reihe von faktorisierten Faltungseinheiten (FCU) und deren parallelen Gegenstücken (PFCU) besteht. Einerseits verwendet die FCU eine weit verbreitete eindimensionale faktorisierte Faltung in Residualschichten. Andererseits setzt die parallele Version in der Gestaltung des Residualmoduls eine Transform-Split-Transform-Merge-Strategie ein, wobei der Split-Zweig Faltungen mit unterschiedlicher Dilatationsrate verwendet, um das Rezeptivfeld zu vergrößern. Unser Modell verfügt über etwa 1,6 Millionen Parameter und kann auf einem einzelnen GTX 1080Ti-GPU mit mehr als 62 Bildern pro Sekunde (FPS) ausgeführt werden. Die Experimente zeigen, dass unser Ansatz im Vergleich zwischen Geschwindigkeit und Genauigkeit für die Echtzeit-Semantische Segmentierung auf dem CityScapes-Datensatz standesübliche Ergebnisse erzielt.