Light-Weight RefineNet für Echtzeit-Semantische Segmentierung

Wir betrachten die effektive und effiziente semantische Bildsegmentierung als eine wichtige Aufgabe. Insbesondere passen wir eine leistungsfähige semantische Segmentierungsarchitektur namens RefineNet an, um sie kompakter zu gestalten, sodass sie auch für Aufgaben geeignet ist, die Echtzeit-Leistung bei hochaufgelösten Eingaben erfordern. Dazu identifizieren wir rechenaufwändige Blöcke in der ursprünglichen Architektur und schlagen zwei Modifikationen vor, die darauf abzielen, die Anzahl der Parameter und Gleitkommaoperationen zu reduzieren. Durch diese Maßnahmen erreichen wir eine mehr als zweifache Modellreduktion, wobei die Leistungsstufen fast unverändert bleiben. Unser schnellstes Modell erhält einen erheblichen Geschwindigkeitsanstieg von 20 FPS auf 55 FPS auf einer generischen GPU-Karte bei 512x512-Eingaben und zeigt eine robuste mittlere IoU-Leistung von 81,1 % auf dem Testdatensatz von PASCAL VOC. Unser langsamstes Modell mit 32 FPS (im Vergleich zu den ursprünglichen 17 FPS) erreicht ebenfalls eine mittlere IoU-Leistung von 82,7 % auf demselben Datensatz. Alternativ demonstrieren wir, dass unser Ansatz sich leicht mit leichten Klassifikationsnetzen kombinieren lässt: Wir erzielen eine mittlere IoU-Leistung von 79,2 % auf PASCAL VOC mit einem Modell, das nur 3,3 Mio. Parameter enthält und lediglich 9,3 Mrd. Gleitkommaoperationen durchführt.