Wichtungsstichproben-CAMs für schwach überwachte Segmentierung

Klassifizierungsnetworks können zur Lokalisierung und Segmentierung von Objekten in Bildern mittels Klassen-Aktivierungskarten (Class Activation Maps, CAMs) eingesetzt werden. Ohne pixelgenaue Annotationen sind Klassifizierungsnetworks jedoch bekannt dafür, (1) sich hauptsächlich auf diskriminative Regionen zu konzentrieren und (2) diffuse CAMs mit unscharfen Vorhersagekonturen zu erzeugen. In dieser Arbeit greifen wir beide Probleme mit zwei Beiträgen zur Verbesserung des CAM-Lernens an. Erstens integrieren wir eine Wahrscheinlichkeitsstichprobenziehung basierend auf der pro-Klasse induzierten Wahrscheinlichkeitsmassenfunktion der CAMs, um stochastische klassenbasierte Bildvorhersagen auf Bildebene zu generieren. Dies führt zu CAMs, die sich über einen größeren Bereich der Objekte aktivieren. Zweitens formulieren wir eine Merkmalsähnlichkeitsverlustfunktion, die darauf abzielt, die Vorhersagekonturen mit den Kanten im Bild zu matchen. Als dritter Beitrag führen wir Experimente auf dem PASCAL VOC 2012 Benchmark-Datensatz durch, um zu zeigen, dass diese Modifikationen die Genauigkeit der Konturvorhersage erheblich verbessern, während sie gleichzeitig mit aktuellen state-of-the-art-Methoden hinsichtlich der Regionssimilarität vergleichbar sind.