PACTran : Métriques PAC-Bayésiennes pour Évaluer la Transférabilité des Modèles Pré-entraînés aux Tâches de Classification

Avec l'augmentation croissante du nombre de modèles préentraînés ces dernières années, le problème de sélection du meilleur point de contrôle préentraîné pour une tâche de classification en aval spécifique a attiré une attention accrue. Bien que plusieurs méthodes aient été récemment proposées pour aborder ce problème de sélection (par exemple, LEEP, H-score), ces méthodes recourent à des heuristiques qui ne sont pas bien justifiées par la théorie de l'apprentissage. Dans cet article, nous présentons PACTran, une famille de métriques théoriquement fondée pour la sélection de modèles préentraînés et la mesure de leur transférabilité. Nous montrons d'abord comment dériver les métriques PACTran à partir de la borne optimale PAC-Bayesienne dans le cadre d'apprentissage par transfert. Nous évaluons ensuite empiriquement troisinstanciations de métriques PACTran sur un certain nombre de tâches visuelles (VTAB) ainsi que sur une tâche combinant langage et vision (OKVQA). Une analyse des résultats montre que PACTran est une mesure de transférabilité plus cohérente et efficace comparée aux méthodes existantes de sélection.