HyperAIHyperAI

Command Palette

Search for a command to run...

Classement des Points de Contrôle Neuraux

Yandong Li Xuhui Jia Ruoxin Sang Yukun Zhu Bradley Green Liqiang Wang Boqing Gong

Résumé

Ce travail porte sur le classement de nombreux réseaux neuronaux profonds pré-entraînés (DNNs), appelés points de contrôle, pour l'apprentissage par transfert à une tâche aval. Grâce à l'utilisation généralisée des DNNs, il est facile de recueillir des centaines de points de contrôle provenant de diverses sources. Lequel d'entre eux se transpose le mieux à notre tâche aval d'intérêt ? Dans le but de répondre pleinement à cette question, nous établissons un benchmark de classement des points de contrôle neuronaux (NeuCRaB) et étudions certaines mesures de classement intuitives. Ces mesures sont génériques, s'appliquant aux points de contrôle de différents types de sortie sans connaître la manière dont ils ont été pré-entraînés sur tel ou tel jeu de données. Elles entraînent également un faible coût en termes de calcul, ce qui leur confère une pertinence pratique. Nos résultats indiquent que la séparabilité linéaire des caractéristiques extraites par les points de contrôle est un indicateur puissant de la capacité à se transposer. Nous proposons également une nouvelle mesure de classement, NLEEP, qui donne lieu aux meilleures performances dans les expériences.Note : "NLEEP" n'est pas traduit car il s'agit d'un acronyme spécifique au domaine et devrait être conservé tel quel pour éviter toute confusion.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp