Wiederholung der bildbasierten Klassifikationsmaße mit lokalen Deskriptoren für Few-Shot-Lernen

Das Few-Shot-Lernen in der Bildklassifizierung zielt darauf ab, einen Klassifikator zu trainieren, der Bilder klassifizieren kann, wenn für jede Klasse nur wenige Trainingsbeispiele verfügbar sind. Kürzliche Arbeiten haben vielversprechende Klassifikationsleistungen erzielt, bei denen in der Regel ein bildbasiertes Merkmalsmaß verwendet wird. In dieser Arbeit argumentieren wir, dass ein solches Maß auf Bildniveau bei der Knappheit von Beispielen im Few-Shot-Lernen möglicherweise nicht ausreichend effektiv ist. Stattdessen plädieren wir für ein lokalbeschreibungs-basiertes Bild-zu-Klasse-Maß, inspiriert durch dessen überraschenden Erfolg in den Glanzzeiten lokaler invarianter Merkmale. Insbesondere basierend auf dem kürzlich entwickelten episodischen Trainingsmechanismus schlagen wir ein tiefes Nearest-Neighbor-Neuronales Netzwerk vor (kurz DN4) und trainieren es in einem end-to-end-Prozess. Der wesentliche Unterschied zu bisherigen Veröffentlichungen besteht darin, dass das bildbasierte Merkmalsmaß in der Endschicht durch ein lokalbeschreibungs-basiertes Bild-zu-Klasse-Maß ersetzt wird. Dieses Maß wird online durchgeführt mittels einer $k$-nächsten-Nachbarn-Suche über die tiefen lokalen Deskriptoren von Faltungsmerkmalskarten. Das vorgeschlagene DN4 lernt nicht nur die optimalen tiefen lokalen Deskriptoren für das Bild-zu-Klasse-Maß, sondern nutzt auch die höhere Effizienz dieses Maßes im Fall einer Beispielsknappheit, dank der Austauschbarkeit visueller Muster innerhalb derselben Klasse. Unsere Arbeit führt zu einem einfachen, effektiven und rechnerisch effizienten Rahmenwerk für Few-Shot-Lernen. Experimentelle Studien an Standarddatensätzen zeigen stets seine Überlegenheit gegenüber verwandten Stand-of-the-Art-Methoden, wobei die größte absolute Verbesserung um $17\,\%$ gegenüber der nächstbesten Methode erreicht wurde. Der Quellcode ist unter \UrlFont{https://github.com/WenbinLee/DN4.git} verfügbar.