HyperAIHyperAI

Command Palette

Search for a command to run...

LEEP: Eine Neue Metrik zur Bewertung der Übertragbarkeit Gelernter Repräsentationen

Cuong V. Nguyen; Tal Hassner; Matthias Seeger; Cedric Archambeau

Zusammenfassung

Wir stellen eine neue Maßnahme zur Bewertung der Übertragbarkeit von durch Klassifizierer gelernten Darstellungen vor. Unser Maß, die logarithmische erwartete empirische Vorhersage (LEEP), ist einfach und leicht zu berechnen: Wenn ein Klassifizierer auf einem Quelldatensatz trainiert wurde, erfordert es nur das Einmalige Durchlaufen des Zielsatzes durch diesen Klassifizierer. Wir analysieren die Eigenschaften von LEEP theoretisch und demonstrieren ihre Effektivität empirisch. Unsere Analyse zeigt, dass LEEP die Leistung und Konvergenzgeschwindigkeit sowohl von Übertragungs- als auch von Meta-Übertragungslernmethoden vorhersagen kann, selbst bei kleinen oder unbalancierten Daten. Darüber hinaus übertrifft LEEP kürzlich vorgeschlagene Übertragbarkeitsmaße wie negative bedingte Entropie und H-Werte. Bemerkenswerterweise erreicht LEEP bei der Übertragung von ImageNet zu CIFAR100 bis zu 30 % Verbesserung im Vergleich zur besten konkurrierenden Methode in Bezug auf die Korrelation mit der tatsächlichen Transfergenauigkeit.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp