HyperAIHyperAI

Command Palette

Search for a command to run...

Selbst-Aufmerksamkeits-Nachrichtenübertragung für kontrastives Few-Shot-Lernen

Ojas Kishorkumar Shirekar Anuj Singh Hadi Jamali-Rad

Zusammenfassung

Menschen verfügen über die einzigartige Fähigkeit, neue Repräsentationen aus nur wenigen Beispielen und mit minimaler bis keiner Überwachung zu lernen. Tiefen Lernmodelle erfordern jedoch eine Fülle von Daten und Überwachung, um auf einem zufriedenstellenden Niveau zu performen. Unüberwachte Few-Shot-Lernen (U-FSL) ist das Streben, diese Lücke zwischen Maschinen und Menschen zu schließen. Inspiriert durch die Fähigkeit von Graph Neural Networks (GNNs) komplex inter-sample Beziehungen zu entdecken, schlagen wir einen neuen Ansatz des selbst-attention basierten message-passing kontrastiven Lernens vor (als SAMP-CLR bezeichnet), für die U-FSL-Vorabtrainierung. Wir schlagen außerdem eine Feinabstimmungsstrategie auf Basis der optimalen Transporttheorie (OT) vor (die wir OpT-Tune nennen), um effizient Task-Bewusstsein in unser neues end-to-end unüberwachtes Few-Shot-Klassifikationsframework (SAMPTransfer) einzubringen. Unsere umfangreichen experimentellen Ergebnisse bestätigen die Effektivität von SAMPTransfer in verschiedenen Downstream-Few-Shot-Klassifikationsszenarien, wobei es einen neuen Stand der Technik für U-FSL sowohl bei den miniImagenet- als auch bei den tieredImagenet-Benchmarks setzt und Verbesserungen von bis zu 7%+ und 5%+ erreicht. Unsere weiteren Untersuchungen zeigen auch, dass SAMPTransfer mit einigen überwachten Baselines bei miniImagenet gleichauf liegt und alle existierenden U-FSL-Baselines in einer anspruchsvollen Cross-Domain-Situation übertreffen kann. Unser Code ist in unserem GitHub-Repository unter https://github.com/ojss/SAMPTransfer/ verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Selbst-Aufmerksamkeits-Nachrichtenübertragung für kontrastives Few-Shot-Lernen | Paper | HyperAI