HyperAIHyperAI

Command Palette

Search for a command to run...

PACTran: PAC-Bayes'sche Metriken zur Schätzung der Übertragbarkeit vortrainierter Modelle auf Klassifizierungsaufgaben

Nan Ding Xi Chen Tomer Levinboim Soravit Changpinyo Radu Soricut

Zusammenfassung

Mit der zunehmenden Fülle vortrainierter Modelle in den letzten Jahren gewinnt das Problem der Auswahl des besten vortrainierten Checkpoints für eine bestimmte Downstream-Klassifizierungsaufgabe an Bedeutung. Obwohl in letzter Zeit mehrere Methoden vorgeschlagen wurden, um das Auswahlproblem zu lösen (z.B. LEEP, H-Score), greifen diese Methoden auf Heuristiken zurück, die nicht gut durch die Lerntheorie begründet sind. In dieser Arbeit stellen wir PACTran vor, eine theoriebasierte Familie von Metriken zur Auswahl vortrainierter Modelle und zur Messung ihrer Transferierbarkeit. Zunächst zeigen wir, wie man PACTran-Metriken aus der optimalen PAC-Bayes'schen Schranke unter Berücksichtigung des Transfer-Lernens ableiten kann. Anschließend bewerten wir drei Instanzen von PACTran-Metriken anhand einer Reihe von Visionstasks (VTAB) sowie eines sprach- und bildbasierten Tasks (OKVQA). Eine Analyse der Ergebnisse zeigt, dass PACTran im Vergleich zu bestehenden Selektionsmethoden ein konsistenteres und effektiveres Maß für die Transferierbarkeit ist.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
PACTran: PAC-Bayes'sche Metriken zur Schätzung der Übertragbarkeit vortrainierter Modelle auf Klassifizierungsaufgaben | Paper | HyperAI