HyperAIHyperAI

Command Palette

Search for a command to run...

Apprentissage profond transféré non binaire pour la classification d'images

Jo Plested Xuyang Shen Tom Gedeon

Résumé

L’approche actuelle standard pour une variété de tâches en vision par ordinateur utilisant un nombre réduit d’exemples d’apprentissage étiquetés consiste à effectuer un ajustement fin (fine-tuning) à partir de poids pré-entraînés sur un grand jeu de données de classification d’images, tel que ImageNet. L’application de l’apprentissage par transfert et des méthodes associées tend à être rigoureusement binaire : un modèle est soit pré-entraîné, soit non pré-entraîné. L’entraînement préalable d’un modèle entraîne soit une amélioration des performances, soit une dégradation, cette dernière étant définie comme un transfert négatif. L’application de la régularisation L2-SP, qui fait décroître les poids vers leurs valeurs pré-entraînées, est soit appliquée, soit tous les poids sont régularisés vers 0. Ce papier reconsidère ces hypothèses. Nos recommandations s’appuient sur une évaluation empirique extensive démontrant que l’adoption d’une approche non binaire permet d’obtenir des résultats optimaux. (1) Pour atteindre les meilleures performances sur chaque jeu de données individuel, il est nécessaire d’ajuster soigneusement divers hyperparamètres de l’apprentissage par transfert, souvent ignorés, tels que le nombre de couches à transférer, des taux d’apprentissage différents pour différentes couches, ainsi que diverses combinaisons de régularisation L2-SP et L2. (2) La meilleure pratique peut être atteinte en utilisant plusieurs indicateurs de qualité d’ajustement des poids pré-entraînés au jeu de données cible afin de guider le choix optimal des hyperparamètres. Nous proposons des méthodes pour un apprentissage par transfert non binaire, incluant la combinaison de la régularisation L2-SP et L2, ainsi que des recherches non traditionnelles des hyperparamètres d’ajustement fin. Enfin, nous formulons des heuristiques pour déterminer les hyperparamètres optimaux de l’apprentissage par transfert. Les avantages d’une telle approche non binaire sont confirmés par les résultats finaux, qui atteignent ou dépassent les performances de l’état de l’art sur une variété de tâches traditionnellement difficiles à traiter par apprentissage par transfert.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp