HyperAIHyperAI

Command Palette

Search for a command to run...

Lassen Sie Ihre Etiketten mit unüberwachtem Transfer fallen

Artyom Gadetsky Yulun Jiang Maria Brbić

Zusammenfassung

Fundamentale Vision-Sprach-Modelle haben eine bemerkenswerte Zero-Shot-Übertragbarkeit der vortrainierten Repräsentationen auf eine Vielzahl von Downstream-Aufgaben ermöglicht. Allerdings erfordert die Lösung einer neuen Aufgabe weiterhin menschliche Anleitung, um visuelle Kategorien zu definieren, die in den Daten auftreten. In dieser Arbeit zeigen wir, dass eine vollständig unüberwachte Übertragung entsteht, wenn man nach der Beschriftung eines Datensatzes sucht, der maximale Margen-Klassifizierer in den Repräsentationsräumen verschiedener Fundamentmodelle induziert. Wir stellen TURTLE vor, eine vollständig unüberwachte Methode, die dieses Leitprinzip effektiv nutzt, um die zugrunde liegende Beschriftung eines Downstream-Datensatzes ohne jede Überwachung und aufgabenspezifisches Lernen von Repräsentationen zu enthüllen. Wir evaluieren TURTLE anhand einer vielfältigen Benchmark-Suite aus 26 Datensätzen und zeigen, dass es neue Standarts in der unüberwachten Leistung erreicht. Darüber hinaus übertrifft TURTLE, obwohl es vollständig unüberwacht ist, Zero-Shot-Übertragungs-Baselines auf einem breiten Spektrum von Datensätzen. Insbesondere erreicht TURTLE durch die Nutzung des gleichen Repräsentationsraums das durchschnittliche Leistungsvermögen von CLIP-Zero-Shot auf 26 Datensätzen, wobei ein breites Spektrum von Architekturen und Modellgrößen abgedeckt wird. Durch die Führung der Suche nach der zugrunde liegenden Beschriftung mit Hilfe der Repräsentationsräume zweier Fundamentmodelle übertrifft TURTLE sowohl Zero-Shot-Übertragungs- als auch unüberwachte Prompt-Tuning-Baselines und zeigt damit die überraschende Stärke und Effektivität unüberwachter Übertragung.请注意,"Zero-Shot" 和 "TURTLE" 这些专有名词在德语中通常保留英文原形。此外,“CLIP”也保持不变,因为它是一个特定的技术名称。


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp