DiffKendall: Ein neuartiger Ansatz für Few-Shot-Lernen mit differenzierbarer Kendall-Rangkorrelation

Few-shot-Lernen zielt darauf ab, Modelle, die auf einem Basissatz trainiert wurden, auf neue Aufgaben anzupassen, bei denen die Kategorien zuvor vom Modell nicht gesehen wurden. Dies führt oft zu einer relativ gleichmäßigen Verteilung der Merkmalswerte über die Kanäle bei neuen Klassen, was die Bestimmung der Kanalbedeutung für neue Aufgaben erschwert. Standardmethoden des Few-shot-Lernens nutzen geometrische Ähnlichkeitsmaße wie die Kosinus-Ähnlichkeit und die negative euklidische Distanz, um die semantische Verwandtschaft zwischen zwei Merkmalen zu bewerten. Allerdings können Merkmale mit hoher geometrischer Ähnlichkeit unterschiedliche Semantik tragen, insbesondere im Kontext des Few-shot-Lernens. In diesem Artikel zeigen wir, dass die Rangfolge der Bedeutung von Merkmalskanälen ein zuverlässigeres Indikator für Few-shot-Lernen ist als geometrische Ähnlichkeitsmaße. Wir beobachten, dass die Ersetzung des geometrischen Ähnlichkeitsmaßes durch die Kendall-Rangkorrelation lediglich während der Inferenz die Leistung des Few-shot-Lernens über eine breite Palette von Methoden und Datensätzen unterschiedlicher Domänen hinweg verbessert. Darüber hinaus schlagen wir eine sorgfältig entworfene differenzierbare Verlustfunktion für das Meta-Training vor, um das Nicht-differenzierbare der Kendall-Rangkorrelation zu überwinden. Durch die Ersetzung der geometrischen Ähnlichkeit durch eine differenzierbare Kendall-Rangkorrelation kann unsere Methode mit zahlreichen bestehenden Few-shot-Ansätzen integriert werden und ist zukünftig auch für die Integration mit neu entwickelten State-of-the-Art-Methoden geeignet, die auf geometrischen Ähnlichkeitsmaßen basieren. Umfangreiche Experimente bestätigen die Wirksamkeit des auf Rangkorrelation basierenden Ansatzes und zeigen eine signifikante Verbesserung im Few-shot-Lernen.