ETran : Estimation de la Transférabilité Basée sur l'Énergie

Ce document aborde le problème du classement des modèles pré-entraînés pour la détection d'objets et la classification d'images. Le choix du meilleur modèle pré-entraîné par affinage est une tâche coûteuse et chronophage. Les travaux précédents ont proposé des estimations de transférabilité basées sur les caractéristiques extraites par les modèles pré-entraînés. Nous soutenons que quantifier si l'ensemble de données cible est en distribution (IND) ou hors distribution (OOD) pour le modèle pré-entraîné est un facteur important dans l'estimation de la transférabilité. À cet effet, nous proposons ETran, une métrique d'évaluation de la transférabilité basée sur l'énergie, qui comprend trois scores : 1) score d'énergie, 2) score de classification, et 3) score de régression. Nous utilisons des modèles basés sur l'énergie pour déterminer si l'ensemble de données cible est OOD ou IND pour le modèle pré-entraîné. Contrairement aux travaux antérieurs, ETran s'applique à une large gamme de tâches, y compris la classification, la régression et la détection d'objets (classification + régression). Il s'agit du premier travail proposant une estimation de transférabilité pour la tâche de détection d'objets. Nos expériences approfondies sur quatre benchmarks et deux tâches montrent que ETran surpasses les travaux précédents sur les benchmarks de détection d'objets et de classification avec une moyenne respective de 21 % et 12 %, et atteint l'état de l'art (SOTA) en évaluation de la transférabilité.