Wissensgraphen-Übertragungsnetzwerk für Few-Shot-Erkennung

Few-shot Learning zielt darauf ab, neue Kategorien anhand von nur wenigen Beispielen zu lernen, wobei einige Basis-Kategorien ausreichend trainierte Daten zur Verfügung stellen. Die zentrale Herausforderung dieser Aufgabe liegt darin, dass die neuen Kategorien leicht von Merkmalen wie Farbe, Textur, Form des Objekts oder Hintergrundkontext (sogenannte Spezifität) dominiert werden, die zwar für die wenigen gegebenen Trainingsbeispiele charakteristisch sind, jedoch nicht repräsentativ für die jeweiligen Kategorien im Allgemeinen sind (siehe Abbildung 1). Glücklicherweise stellen wir fest, dass die Übertragung von Informationen aus korrelierten Basis-Kategorien helfen kann, neue Konzepte zu erlernen und so zu verhindern, dass diese durch Spezifitäten beeinflusst werden. Darüber hinaus kann die Berücksichtigung semantischer Korrelationen zwischen verschiedenen Kategorien die Übertragung solcher Informationen effektiv regularisieren. In dieser Arbeit repräsentieren wir die semantischen Korrelationen in Form eines strukturierten Wissensgraphen und integrieren diesen Graphen in tiefe neuronale Netze, um das Few-shot Learning durch ein neuartiges Knowledge Graph Transfer Network (KGTN) zu verbessern. Konkret wird jedes Knoten im Graph durch die Klassifikator-Gewichte der entsprechenden Kategorie initialisiert, und ein Lernmechanismus für die Nachrichtenweitergabe wird entwickelt, um adaptiv Knoten-Nachrichten durch den Graphen zu propagieren, um Interaktionen zwischen Knoten zu erforschen und Klassifikator-Informationen aus Basis-Kategorien auf neue Kategorien zu übertragen. Umfangreiche Experimente auf dem ImageNet-Datensatz zeigen eine signifikante Leistungssteigerung im Vergleich zu aktuellen führenden Ansätzen. Zudem erstellen wir einen ImageNet-6K-Datensatz, der eine größere Anzahl von Kategorien umfasst – nämlich 6.000 Kategorien – und Experimente auf diesem Datensatz bestätigen erneut die Wirksamkeit unseres vorgeschlagenen Modells. Unsere Codes und Modelle sind unter https://github.com/MyChocer/KGTN verfügbar.