Semantische Bildsegmentierung mit tiefen Faltungsnetzen und vollständig verbundenen CRFs

Tiefe Faltungsneuronale Netze (DCNNs) haben kürzlich herausragende Leistungen in hochwertigen visuellen Aufgaben wie Bildklassifizierung und Objekterkennung gezeigt. Diese Arbeit vereint Methoden aus DCNNs und probabilistischen graphischen Modellen, um die Aufgabe der Pixelklassifizierung (auch als "semantische Bildsegmentierung" bezeichnet) anzugehen. Wir zeigen, dass die Antworten in der letzten Schicht von DCNNs nicht ausreichend lokalisiert sind, um genaue Objektsegmentierung durchzuführen. Dies ist aufgrund der Invarianzeigenschaften zurückzuführen, die DCNNs für hochwertige Aufgaben geeignet machen. Um diese schlechten Lokalisierungseigenschaften tiefster Netzwerke zu überwinden, kombinieren wir die Antworten in der letzten Schicht des DCNN mit einem vollständig vernetzten bedingten Markowfeld (CRF). Qualitativ ist unser "DeepLab"-System in der Lage, Segmentrandgrenzen auf einer Genauigkeitsebene zu lokalisieren, die den bisherigen Methoden überlegen ist. Quantitativ legt unsere Methode bei der semantischen Bildsegmentierungsaufgabe des PASCAL VOC-2012-Datensatzes einen neuen Stand der Technik fest und erreicht eine IOU-Genauigkeit von 71,6 % im Testdatensatz. Wir demonstrieren, wie diese Ergebnisse effizient erzielt werden können: Sorgfältige Anpassung des Netzwerks und eine neuartige Anwendung des 'Hole'-Algorithmus aus der Wellengemeinschaft ermöglichen es, dichte Berechnungen der neuronalen Netzwerkantworten auf moderner GPU mit einer Geschwindigkeit von 8 Bildern pro Sekunde durchzuführen.