HyperAIHyperAI

Command Palette

Search for a command to run...

PACTran : Métriques PAC-Bayésiennes pour Évaluer la Transférabilité des Modèles Pré-entraînés aux Tâches de Classification

Nan Ding Xi Chen Tomer Levinboim Soravit Changpinyo Radu Soricut

Résumé

Avec l'augmentation croissante du nombre de modèles préentraînés ces dernières années, le problème de sélection du meilleur point de contrôle préentraîné pour une tâche de classification en aval spécifique a attiré une attention accrue. Bien que plusieurs méthodes aient été récemment proposées pour aborder ce problème de sélection (par exemple, LEEP, H-score), ces méthodes recourent à des heuristiques qui ne sont pas bien justifiées par la théorie de l'apprentissage. Dans cet article, nous présentons PACTran, une famille de métriques théoriquement fondée pour la sélection de modèles préentraînés et la mesure de leur transférabilité. Nous montrons d'abord comment dériver les métriques PACTran à partir de la borne optimale PAC-Bayesienne dans le cadre d'apprentissage par transfert. Nous évaluons ensuite empiriquement troisinstanciations de métriques PACTran sur un certain nombre de tâches visuelles (VTAB) ainsi que sur une tâche combinant langage et vision (OKVQA). Une analyse des résultats montre que PACTran est une mesure de transférabilité plus cohérente et efficace comparée aux méthodes existantes de sélection.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp