LEEP: Eine Neue Metrik zur Bewertung der Übertragbarkeit Gelernter Repräsentationen

Wir stellen eine neue Maßnahme zur Bewertung der Übertragbarkeit von durch Klassifizierer gelernten Darstellungen vor. Unser Maß, die logarithmische erwartete empirische Vorhersage (LEEP), ist einfach und leicht zu berechnen: Wenn ein Klassifizierer auf einem Quelldatensatz trainiert wurde, erfordert es nur das Einmalige Durchlaufen des Zielsatzes durch diesen Klassifizierer. Wir analysieren die Eigenschaften von LEEP theoretisch und demonstrieren ihre Effektivität empirisch. Unsere Analyse zeigt, dass LEEP die Leistung und Konvergenzgeschwindigkeit sowohl von Übertragungs- als auch von Meta-Übertragungslernmethoden vorhersagen kann, selbst bei kleinen oder unbalancierten Daten. Darüber hinaus übertrifft LEEP kürzlich vorgeschlagene Übertragbarkeitsmaße wie negative bedingte Entropie und H-Werte. Bemerkenswerterweise erreicht LEEP bei der Übertragung von ImageNet zu CIFAR100 bis zu 30 % Verbesserung im Vergleich zur besten konkurrierenden Methode in Bezug auf die Korrelation mit der tatsächlichen Transfergenauigkeit.