Fully Convolutional Networks für semantische Segmentierung

Faltungssnetze sind leistungsstarke visuelle Modelle, die Hierarchien von Merkmalen erzeugen. Wir zeigen, dass Faltungssnetze an sich, von Anfang bis Ende trainiert und pixelweise auf pixelweise abgebildet, den aktuellen Stand der Technik in der semantischen Segmentierung übertreffen. Unser wesentlicher Einblick besteht darin, "vollständig faltungsbasierte" Netze zu entwickeln, die Eingaben beliebiger Größe akzeptieren und entsprechend große Ausgaben mit effizienter Inferenz und Lernprozessen erzeugen. Wir definieren und beschreiben den Raum vollständig faltungsbasierte Netze, erklären ihre Anwendung bei räumlich dichten Vorhersageaufgaben und ziehen Verbindungen zu früheren Modellen. Wir passen moderne Klassifikationsnetze (AlexNet, das VGG-Netz und GoogLeNet) in vollständig faltungsbasierte Netze an und übertragen ihre gelernten Repräsentationen durch Feinabstimmung auf die Segmentierungsaufgabe. Anschließend definieren wir eine neuartige Architektur, die semantische Informationen aus einer tiefen, groben Schicht mit Erscheinungsmerkmalen aus einer flachen, feinen Schicht kombiniert, um genaue und detaillierte Segmentierungen zu erzeugen. Unser vollständig faltungsbasierter Netzwerk erreicht den aktuellen Stand der Technik in der Segmentierung von PASCAL VOC (20-prozentige relative Verbesserung auf 62,2 % mittleres IU im Jahr 2012), NYUDv2 und SIFT Flow, wobei die Inferenz für ein typisches Bild etwa ein Drittel Sekunde dauert.