Soft Proposal Networks für schwach überwachte Objektlokalisation

Die schwach überwachte Objektlokalisation bleibt eine Herausforderung, insbesondere wenn während des Trainings nur Bildlabels und keine Begrenzungsrahmen zur Verfügung stehen. Die Objektvorschlagsgenerierung ist ein effektives Element der Lokalisierung, ist jedoch oft rechenintensiv und kann nicht gemeinsam mit einigen der übrigen Module optimiert werden. In dieser Arbeit integrieren wir, soweit wir wissen, erstmals die schwach überwachte Objektvorschlagsgenerierung in Faltungsneuronale Netze (CNNs) in einer end-to-end Lernmethode. Wir entwerfen ein Netzwerkmodul, Soft Proposal (SP), das in jede Standardfaltungsarchitektur eingebunden werden kann, um nahezu kostenfreie Objektvorschläge zu generieren, die um Größenordnungen schneller sind als die der aktuellen besten Methoden. In den durch SP erweiterten CNNs, auch als Soft Proposal Networks (SPNs) bezeichnet, werden iterativ entwickelte Objektvorschläge auf Basis der tiefen Merkmalskarten generiert und dann zurückprojiziert und gemeinsam mit den Netzwerkparametern unter ausschließlich bildbasielter Überwachung optimiert. Durch den vereinheitlichten Lernprozess lernen SPNs bessere objektorientierte Filter, entdecken diskriminativere visuelle Beweise und unterdrücken Hintergrundstörungen, was sowohl die Leistung bei der schwach überwachten Objektlokalisation als auch bei der Klassifizierung erheblich verbessert. Wir melden die besten Ergebnisse auf gängigen Benchmarks, darunter PASCAL VOC, MS COCO und ImageNet.