Der Lovász-Softmax-Verlust: Ein handhabbares Surrogat für die Optimierung des Intersection-over-Union-Maßes in neuronalen Netzen

Der Jaccard-Index, auch bekannt als der Intersection-over-Union-Score (IoU-Score), wird aufgrund seiner wahrnehmungsbasierten Eigenschaften, Skaleninvarianz – die kleinen Objekten angemessene Bedeutung verleiht – und der angemessenen Berücksichtigung von Falsch-Negativen im Vergleich zu pro-Pixel-Verlusten häufig zur Bewertung von Bildsegmentierungsergebnissen eingesetzt. In dieser Arbeit stellen wir eine Methode vor, die es ermöglicht, den mittleren Intersection-over-Union-Verlust direkt in neuronalen Netzen zu optimieren, im Kontext der semantischen Bildsegmentierung, basierend auf der konvexen Lovász-Erweiterung submodularer Verluste. Es wird gezeigt, dass dieser Verlust in Bezug auf das Jaccard-Index-Maß besser abschneidet als der traditionell verwendete Kreuzentropieverlust. Wir verdeutlichen quantitative und qualitative Unterschiede zwischen der Optimierung des Jaccard-Index pro Bild und der Optimierung des Jaccard-Index über einen gesamten Datensatz hinweg. Wir evaluieren den Einfluss unserer Methode in einem Pipeline für semantische Segmentierung und zeigen erheblich verbesserte Intersection-over-Union-Segmentierungsergebnisse auf den Datensätzen Pascal VOC und Cityscapes unter Verwendung modernster Deep-Learning-Segmentierungsarchitekturen.