ETran: Energiebasierte Transfierbarkeitschätzung

Dieses Papier behandelt das Problem der Rangfolge von vortrainierten Modellen für Objekterkennung und Bildklassifizierung. Die Auswahl des besten vortrainierten Modells durch Feinabstimmung ist eine kostspielige und zeitaufwendige Aufgabe. Frühere Arbeiten haben Transferabilitätsschätzungen basierend auf Merkmalen vorgeschlagen, die durch die vortrainierten Modelle extrahiert wurden. Wir argumentieren, dass die Quantifizierung, ob das Ziel-Datensatz in- (IND) oder außerhalb der Verteilung (OOD) für das vortrainierte Modell liegt, ein wichtiger Faktor bei der Transferabilitätsschätzung ist. Zu diesem Zweck schlagen wir ETran vor, ein energiebasiertes Transferabilitätsbewertungsmaß, das drei Bewertungen umfasst: 1) Energiescore, 2) Klassifikationsscore und 3) Regressionscore. Wir verwenden energiebasierte Modelle, um zu bestimmen, ob der Ziel-Datensatz für das vortrainierte Modell OOD oder IND ist. Im Gegensatz zu früheren Arbeiten ist ETran auf eine breite Palette von Aufgaben anwendbar, einschließlich Klassifizierung, Regression und Objekterkennung (Klassifizierung+Regression). Dies ist die erste Arbeit, die eine Transferabilitätsschätzung für die Objekterkennungsaufgabe vorschlägt. Unsere umfangreichen Experimente an vier Benchmarks und zwei Aufgaben zeigen, dass ETran in den Benchmarks für Objekterkennung und Klassifizierung gegenüber früheren Arbeiten durchschnittlich um 21 % und 12 % besser abschneidet und den aktuellen Stand der Technik (SOTA) in der Transferabilitätseinschätzung erreicht.