SIM-OFE: Strukturinformationsminierung und objektbewusste Merkmalsverbesserung für feinkörnige visuelle Kategorisierung

Feinabgestufte visuelle Kategorisierung (Fine-Grained Visual Categorization, FGVC) zielt darauf ab, visuelle Objekte anhand mehrerer Unter-Kategorien einer grobgegrupperten Kategorie zu unterscheiden. Die feinen Unterschiede zwischen den verschiedenen Unter-Kategorien machen die FGVC-Aufgabe besonders herausfordernd. Bestehende Methoden konzentrieren sich hauptsächlich auf das Lernen auffälliger visueller Muster und vernachlässigen dabei, wie die interne Struktur des Objekts erfasst werden kann, was dazu führt, dass vollständige, differenzierende Regionen innerhalb des Objekts nicht effektiv erfasst werden können und somit die Leistung der FGVC eingeschränkt bleibt. Um dieses Problem anzugehen, schlagen wir eine Methode namens Structure Information Mining and Object-aware Feature Enhancement (SIM-OFE) für die feinabgestufte visuelle Kategorisierung vor, die die interne Strukturzusammensetzung und die Erscheinungseigenschaften visueller Objekte erforscht. Konkret schlagen wir zunächst ein einfaches, jedoch wirksames hybrides Wahrnehmungs-Attention-Modul vor, das visuelle Objekte basierend auf einer Analyse der globalen und lokalen Bedeutung lokalisiert. Anschließend wird ein Struktur-Information-Mining-Modul eingeführt, das die Verteilung und Kontextbeziehungen kritischer Regionen innerhalb des Objekts modelliert und somit das gesamte Objekt sowie differenzierende Regionen hervorhebt, um feine Unterschiede besser erkennen zu können. Schließlich wird ein objektbewusstes Feature-Enhancement-Modul vorgeschlagen, das globale und lokale differenzierende Merkmale auf eine aufmerksamkeitsgesteuerte Weise kombiniert, um leistungsstarke visuelle Repräsentationen für die feinabgestufte Erkennung zu erzeugen. Umfangreiche Experimente an drei etablierten FGVC-Datensätzen zeigen, dass unsere vorgeschlagene SIM-OFE-Methode eine state-of-the-art-Leistung erreicht.