Lernen aufmerksamer Paarweiser Interaktionen für feinkörnige Klassifikation

Feinabgestufte Klassifikation stellt eine herausfordernde Aufgabe dar, da die Kategorien oft nur geringfügige, schwer unterscheidbare Unterschiede aufweisen. Die meisten Ansätze adressieren diese Schwierigkeit, indem sie diskriminative Darstellungen einzelner Eingabebilder lernen. Andererseits können Menschen kontrastive Hinweise effektiv erkennen, indem sie Bildpaare miteinander vergleichen. Ausgehend von diesem Phänomen schlagen wir ein einfaches, aber wirksames Netzwerk namens Attentive Pairwise Interaction Network (API-Net) vor, das feinabgestufte Bilder schrittweise durch Wechselwirkung erkennen kann. Konkret lernt API-Net zunächst einen gegenseitigen Merkmalsvektor, um semantische Unterschiede innerhalb des Eingabepaares zu erfassen. Anschließend vergleicht es diesen gegenseitigen Vektor mit den einzelnen Vektoren jedes Bildes, um Gatter (Gates) für jedes Eingabebild zu generieren. Diese spezifischen Gattungsvektoren übernehmen den gemeinsamen Kontext semantischer Unterschiede und ermöglichen es API-Net, kontrastive Hinweise durch eine paarweise Wechselwirkung zwischen den beiden Bildern gezielt zu erfassen. Zusätzlich trainieren wir API-Net end-to-end mit einer Score-Ranking-Regularisierung, die die Generalisierungsfähigkeit des Modells weiter verbessert, indem sie Merkmalsprioritäten berücksichtigt. Wir führen umfangreiche Experimente auf fünf etablierten Benchmarks der feinabgestuften Klassifikation durch. API-Net übertrifft die aktuellen State-of-the-Art-Methoden, wobei die Ergebnisse bei CUB-200-2011 (90,0 %), Aircraft (93,9 %), Stanford Cars (95,3 %), Stanford Dogs (90,3 %) und NABirds (88,1 %) liegen.