HyperAIHyperAI

Command Palette

Search for a command to run...

Selbstüberwachung kann ein guter Few-Shot-Lerner sein.

Yuning Lu Liangjian Wen Jianzhuang Liu Yajing Liu Xinmei Tian

Zusammenfassung

Bestehende Few-Shot-Lernmethoden (FSL) basieren auf der Ausbildung mit einem großen annotierten Datensatz, was es ihnen verhindert, die reichlich vorhandenen unannotierten Daten zu nutzen. Aus informations-theoretischer Sicht schlagen wir eine effektive unsupervisierte FSL-Methode vor, die durch Selbstüberwachung Darstellungen lernt. Gemäß dem InfoMax-Prinzip lernt unsere Methode umfassende Darstellungen, indem sie die intrinsische Struktur der Daten erfasst. Insbesondere maximieren wir die gegenseitige Information (MI) von Instanzen und ihren Darstellungen mit einem low-bias MI-Schätzer, um das selbstüberwachte Vortraining durchzuführen. Im Gegensatz zum supervisierten Vortraining, das sich auf die unterscheidbaren Merkmale der gesehenen Klassen konzentriert, hat unser selbstüberwachtes Modell weniger Bias gegenüber den gesehenen Klassen, was zu einer besseren Generalisierung für ungesehene Klassen führt. Wir erläutern, dass supervisiertes Vortraining und selbstüberwachtes Vortraining tatsächlich unterschiedliche MI-Ziele maximieren. Umfangreiche Experimente wurden durchgeführt, um ihre FSL-Leistung bei verschiedenen Trainingsbedingungen zu analysieren. Überraschenderweise zeigen die Ergebnisse, dass das selbstüberwachte Vortraining unter geeigneten Bedingungen das supervisierte Vortraining übertrifft. Verglichen mit den neuesten FSL-Methoden erreicht unser Ansatz vergleichbare Leistungen auf weit verbreiteten FSL-Benchmarks ohne irgendeine Annotation der Basisklassen.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp