Region Comparison Network für interpretierbare Few-shot-Bildklassifikation

Obwohl tiefes Lernen erfolgreich auf zahlreiche praktische Aufgaben im Bereich des Computersehens angewendet wurde, erfordert die Trainierung robuster Klassifizierer normalerweise eine große Menge gut annotierter Daten. Die Annotation ist jedoch oft kostspielig und zeitaufwendig. Um dies zu umgehen, wurde die Few-Shot-Bildklassifizierung vorgeschlagen, um effizient nur eine begrenzte Anzahl von gelabelten Beispielen zur Trainingsmodellierung neuer Klassen zu nutzen. Neuere Ansätze, die auf übertragbaren Metrik-Lernmethoden basieren, haben vielversprechende Klassifizierungsergebnisse erzielt, indem sie die Ähnlichkeit zwischen den Merkmalen von Proben aus Query- und Support-Sets lernen. Allerdings berücksichtigen nur wenige dieser Ansätze explizit die Modellinterpretierbarkeit, die sich tatsächlich bereits während des Trainings offenbaren lässt.Daher stellen wir in dieser Arbeit eine auf Metrik-Lernen basierende Methode namens Region Comparison Network (RCN) vor, die sowohl aufzeigt, wie Few-Shot-Lernen in einem neuronalen Netzwerk funktioniert, als auch spezifische Regionen identifiziert, die in Bildern aus Query- und Support-Sets miteinander in Beziehung stehen. Zudem präsentieren wir eine Visualisierungsstrategie namens Region Activation Mapping (RAM), die es ermöglicht, intuitiv zu erklären, was unsere Methode gelernt hat, indem sie intermediäre Variablen in unserem Netzwerk visualisiert. Außerdem stellen wir eine neue Methode vor, die die Interpretierbarkeit von der Ebene der Aufgaben auf die Kategorie-Ebene zu verallgemeinern erlaubt, was gleichzeitig als Ansatz zur Identifizierung prototypischer Teile verstanden werden kann, die die endgültige Entscheidung unserer RCN unterstützen. Umfangreiche Experimente auf vier Benchmark-Datensätzen zeigen eindeutig die Wirksamkeit unserer Methode gegenüber bestehenden Baselines.