Gated-SCNN: Gated Shape CNNs für semantische Segmentierung

Aktuelle hochentwickelte Methoden für die Bildsegmentierung erzeugen eine dichte Bildrepräsentation, bei der Farb-, Form- und Texturinformationen in einem tiefen CNN gemeinsam verarbeitet werden. Dies ist jedoch möglicherweise nicht ideal, da diese Informationen sehr unterschiedliche Arten von für die Erkennung relevanten Daten enthalten. In diesem Beitrag schlagen wir eine neue zweistrom-basierte CNN-Architektur für die semantische Segmentierung vor, die Forminformationen explizit als einen separaten Verarbeitungsast, den sogenannten Formstrom, verarbeitet, der parallel zum klassischen Strom arbeitet. Kernstück dieser Architektur sind neuartige Gatter, die die Zwischenschichten der beiden Ströme miteinander verbinden. Insbesondere verwenden wir die höheren Aktivierungen im klassischen Strom, um die niedrigeren Aktivierungen im Formstrom zu gattern, wodurch Rauschen effektiv reduziert wird und der Formstrom sich nur auf die Verarbeitung von grenzbezogenen Informationen konzentrieren kann. Dies ermöglicht es uns, eine sehr flache Architektur für den Formstrom zu verwenden, die auf der Bildauflösungsebene operiert. Unsere Experimente zeigen, dass dies zu einer hochwirksamen Architektur führt, die schärfere Vorhersagen an Objekträndern erzeugt und die Leistung bei dünnen und kleineren Objekten erheblich verbessert. Unsere Methode erreicht den aktuellen Stand der Technik beim Cityscapes-Benchmark sowohl in Bezug auf Maskenqualität (mIoU) als auch auf Randqualität (F-Wert), wobei sie gegenüber starken Baselines um 2% und 4% verbessert.