Selektive sparse Stichprobenauswahl für feinkörnige Bilderkennung

Feinabgestufte Erkennung stellt die besondere Herausforderung dar, subtile Unterschiede zwischen Klassen unter erheblichen innerhalb-Klassen-Variabilitäten (z. B. Schnäbel bei Vogelarten) zu erfassen. Herkömmliche Ansätze schneiden lokale Regionen aus und lernen detaillierte Repräsentationen aus diesen Bereichen, leiden jedoch unter einer festen Anzahl von Teilen und dem Fehlen von Umgebungskontext. In diesem Paper stellen wir einen einfachen, aber effektiven Ansatz vor, genannt „Selective Sparse Sampling“, um vielfältige und feinabgestufte Details zu erfassen. Der Ansatz wird mittels Faltungsneuronalen Netzen realisiert und als Selective Sparse Sampling Networks (S3N) bezeichnet. Unter Verwendung von Bildniveau-Supervision sammeln S3N Peaks, also lokale Maxima, aus Klassen-Antwortkarten, um informativere Rezeptivfelder zu schätzen und eine Menge spärlicher Aufmerksamkeitsmuster zu lernen, die feinabgestufte visuelle Hinweise erfassen und gleichzeitig Kontext bewahren. Diese Hinweise werden selektiv abgetastet, um diskriminative und ergänzende Merkmale zu extrahieren, was die gelernte Repräsentation erheblich bereichert und das Netzwerk anleitet, feinere Hinweise zu entdecken. Umfangreiche Experimente und Ablationsstudien zeigen, dass die vorgeschlagene Methode auf anspruchsvollen Benchmarks wie CUB-200-2011, FGVC-Aircraft und Stanford Cars konsistent die derzeit besten Ansätze übertrifft.