Einfache semantisch unterstütztes Few-Shot-Lernen

Das Lernen aus einer begrenzten Menge von Daten, bekannt als Few-Shot-Lernen, hebt sich hervor als eine herausfordernde Aufgabe im Bereich der Computer Vision. Mehrere Arbeiten nutzen Semantik und entwerfen komplizierte semantische Fusionmechanismen, um die mangelhaften repräsentativen Merkmale in eingeschränkten Datensätzen zu kompensieren. Jedoch führt das Verlassen auf naiven Semantiken wie Klassennamen zu Verzerrungen aufgrund ihrer Kürze, während das Erwerben umfangreicher Semantiken aus externem Wissen enorme Zeit und Mühe erfordert. Diese Einschränkung begrenzt das Potenzial der Semantik im Few-Shot-Lernen stark. In dieser Arbeit entwickeln wir einen automatischen Ansatz namens Semantische Evolution (Semantic Evolution), um hochwertige Semantiken zu generieren. Die Integration hochwertiger Semantiken verringert den Bedarf an komplexen Netzwerkstrukturen und Lernalgorithmen, die in früheren Arbeiten verwendet wurden. Daher setzen wir ein einfaches zweischichtiges Netzwerk ein, das als Semantische Anpassungsnetzwerk (Semantic Alignment Network) bezeichnet wird, um Semantik und visuelle Merkmale in robuste Klassenprototypen mit reichhaltigen diskriminierenden Merkmalen für Few-Shot-Klassifikation zu transformieren. Die experimentellen Ergebnisse zeigen, dass unser Framework auf sechs Benchmarks allen bisherigen Methoden überlegen ist, was beweist, dass ein einfaches Netzwerk mit hochwertiger Semantik komplexe multimodale Module bei Few-Shot-Klassifikationsaufgaben schlagen kann. Der Quellcode ist unter https://github.com/zhangdoudou123/SemFew verfügbar.