Classement des Points de Contrôle Neuraux

Ce travail porte sur le classement de nombreux réseaux neuronaux profonds pré-entraînés (DNNs), appelés points de contrôle, pour l'apprentissage par transfert à une tâche aval. Grâce à l'utilisation généralisée des DNNs, il est facile de recueillir des centaines de points de contrôle provenant de diverses sources. Lequel d'entre eux se transpose le mieux à notre tâche aval d'intérêt ? Dans le but de répondre pleinement à cette question, nous établissons un benchmark de classement des points de contrôle neuronaux (NeuCRaB) et étudions certaines mesures de classement intuitives. Ces mesures sont génériques, s'appliquant aux points de contrôle de différents types de sortie sans connaître la manière dont ils ont été pré-entraînés sur tel ou tel jeu de données. Elles entraînent également un faible coût en termes de calcul, ce qui leur confère une pertinence pratique. Nos résultats indiquent que la séparabilité linéaire des caractéristiques extraites par les points de contrôle est un indicateur puissant de la capacité à se transposer. Nous proposons également une nouvelle mesure de classement, NLEEP, qui donne lieu aux meilleures performances dans les expériences.Note : "NLEEP" n'est pas traduit car il s'agit d'un acronyme spécifique au domaine et devrait être conservé tel quel pour éviter toute confusion.