Ko-Lokalisierung mit kategoriekonsistenten Merkmalen und geodätischer Distanzverbreitung

Die Co-Lokalisierung ist das Problem, Objekte derselben Klasse unter Verwendung nur der Menge von Bildern, die sie enthalten, zu lokalisieren. Dies ist eine herausfordernde Aufgabe, da der Objekterkennungsalgorithmus ohne negative Beispiele erstellt werden muss, die zu informativeren Supervisionsignalen führen könnten. Die Kernidee unserer Methode besteht darin, den Merkmalsraum eines generisch vortrainierten CNNs (Convolutional Neural Networks) zu clustern, um einen Satz von CNN-Merkmalen zu finden, die für eine Objektkategorie konsistent und stark aktiviert sind – dies nennen wir kategoriekonsistente CNN-Merkmale. Anschließend verbreiten wir ihre kombinierte Aktivitätskarte unter Verwendung von Superpixel-Geodätischen Abständen zur Co-Lokalisierung. In unseren ersten Experimenten zeigen wir, dass die vorgeschlagene Methode auf drei verwandten Benchmarks – PASCAL 2007, PASCAL-2012 und dem Object Discovery-Datensatz – eine Spitzenleistung erzielt. Wir demonstrieren auch, dass unsere Methode in der Lage ist, tatsächlich noch nicht gesehene Kategorien zu erkennen und zu lokalisieren; dies tun wir anhand sechs zurückgehaltener ImageNet-Kategorien mit einer Genauigkeit, die deutlich höher ist als bei bisherigen Spitzenverfahren. Unser intuitiver Ansatz erreicht diesen Erfolg ohne irgendeine Regionenvorschläge oder Objekterkennungsalgorithmen und kann auf einem CNN basieren, das ausschließlich für Bildklassifizierungsaufgaben vortrainiert wurde, ohne weitere Feinabstimmung (fine-tuning).