Graph-Propagation-basierte Korrelationslernmethode für schwach beschriftete feinkörnige Bildklassifikation
Der Schlüssel der schwach überwachten feinkörnigen Bildklassifikation (Weakly Supervised Fine-grained Image Classification, WFGIC) liegt darin, diskriminative Regionen auszuwählen und aus ihnen diskriminative Merkmale zu lernen. Allerdings wählen die meisten aktuellen WFGIC-Methoden die diskriminativen Regionen unabhängig voneinander aus und nutzen ihre Merkmale direkt, wobei sie übersehen, dass die Merkmale von Regionen miteinander semantisch korreliert sind und dass Regionengruppen insgesamt diskriminativer sein können. Um diese Probleme anzugehen, schlagen wir ein end-to-end-Modell namens Graph-Propagation-basierte Korrelationslernung (Graph-propagation based Correlation Learning, GCL) vor, um das diskriminative Potenzial der Regionenkorrelationen vollständig auszuschöpfen. Konkret wird im Schritt der Lokalisierung diskriminativer Regionen ein Criss-cross Graph Propagation (CGP)-Untermodell vorgestellt, das Regionenkorrelationen lernt, indem es Korrelationen zwischen Regionen herstellt und jede Region durch gewichtete Aggregation anderer Regionen auf eine kreuzweise Weise verstärkt. Auf diese Weise kodiert die Darstellung jeder Region gleichzeitig kontextuelle Informationen auf Bild- und lokaler räumlicher Ebene, wodurch das Netzwerk indirekt dazu angeleitet wird, mächtigere diskriminative Regionengruppen für die WFGIC zu entdecken. Im Schritt der diskriminativen Merkmalsdarstellung wird ein Korrelationsmerkmalsverstärkungs-Untermodell (Correlation Feature Strengthening, CFS) vorgeschlagen, das die interne semantische Korrelation zwischen Merkmalsvektoren diskriminativer Patchen untersucht, um deren diskriminative Leistung durch iterative Verstärkung informativer Elemente und Unterdrückung nutzloser zu verbessern. Umfangreiche Experimente belegen die Wirksamkeit der vorgeschlagenen CGP- und CFS-Untermodelle und zeigen, dass das GCL-Modell sowohl in Bezug auf Genauigkeit als auch Effizienz eine bessere Leistung erzielt.