HyperAIHyperAI

Command Palette

Search for a command to run...

DiffKendall: Ein neuartiger Ansatz für Few-Shot-Lernen mit differenzierbarer Kendall-Rangkorrelation

Kaipeng Zheng Huishuai Zhang Weiran Huang

Zusammenfassung

Few-shot-Lernen zielt darauf ab, Modelle, die auf einem Basissatz trainiert wurden, auf neue Aufgaben anzupassen, bei denen die Kategorien zuvor vom Modell nicht gesehen wurden. Dies führt oft zu einer relativ gleichmäßigen Verteilung der Merkmalswerte über die Kanäle bei neuen Klassen, was die Bestimmung der Kanalbedeutung für neue Aufgaben erschwert. Standardmethoden des Few-shot-Lernens nutzen geometrische Ähnlichkeitsmaße wie die Kosinus-Ähnlichkeit und die negative euklidische Distanz, um die semantische Verwandtschaft zwischen zwei Merkmalen zu bewerten. Allerdings können Merkmale mit hoher geometrischer Ähnlichkeit unterschiedliche Semantik tragen, insbesondere im Kontext des Few-shot-Lernens. In diesem Artikel zeigen wir, dass die Rangfolge der Bedeutung von Merkmalskanälen ein zuverlässigeres Indikator für Few-shot-Lernen ist als geometrische Ähnlichkeitsmaße. Wir beobachten, dass die Ersetzung des geometrischen Ähnlichkeitsmaßes durch die Kendall-Rangkorrelation lediglich während der Inferenz die Leistung des Few-shot-Lernens über eine breite Palette von Methoden und Datensätzen unterschiedlicher Domänen hinweg verbessert. Darüber hinaus schlagen wir eine sorgfältig entworfene differenzierbare Verlustfunktion für das Meta-Training vor, um das Nicht-differenzierbare der Kendall-Rangkorrelation zu überwinden. Durch die Ersetzung der geometrischen Ähnlichkeit durch eine differenzierbare Kendall-Rangkorrelation kann unsere Methode mit zahlreichen bestehenden Few-shot-Ansätzen integriert werden und ist zukünftig auch für die Integration mit neu entwickelten State-of-the-Art-Methoden geeignet, die auf geometrischen Ähnlichkeitsmaßen basieren. Umfangreiche Experimente bestätigen die Wirksamkeit des auf Rangkorrelation basierenden Ansatzes und zeigen eine signifikante Verbesserung im Few-shot-Lernen.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp