Apprentissage profond transféré non binaire pour la classification d'images

L’approche actuelle standard pour une variété de tâches en vision par ordinateur utilisant un nombre réduit d’exemples d’apprentissage étiquetés consiste à effectuer un ajustement fin (fine-tuning) à partir de poids pré-entraînés sur un grand jeu de données de classification d’images, tel que ImageNet. L’application de l’apprentissage par transfert et des méthodes associées tend à être rigoureusement binaire : un modèle est soit pré-entraîné, soit non pré-entraîné. L’entraînement préalable d’un modèle entraîne soit une amélioration des performances, soit une dégradation, cette dernière étant définie comme un transfert négatif. L’application de la régularisation L2-SP, qui fait décroître les poids vers leurs valeurs pré-entraînées, est soit appliquée, soit tous les poids sont régularisés vers 0. Ce papier reconsidère ces hypothèses. Nos recommandations s’appuient sur une évaluation empirique extensive démontrant que l’adoption d’une approche non binaire permet d’obtenir des résultats optimaux. (1) Pour atteindre les meilleures performances sur chaque jeu de données individuel, il est nécessaire d’ajuster soigneusement divers hyperparamètres de l’apprentissage par transfert, souvent ignorés, tels que le nombre de couches à transférer, des taux d’apprentissage différents pour différentes couches, ainsi que diverses combinaisons de régularisation L2-SP et L2. (2) La meilleure pratique peut être atteinte en utilisant plusieurs indicateurs de qualité d’ajustement des poids pré-entraînés au jeu de données cible afin de guider le choix optimal des hyperparamètres. Nous proposons des méthodes pour un apprentissage par transfert non binaire, incluant la combinaison de la régularisation L2-SP et L2, ainsi que des recherches non traditionnelles des hyperparamètres d’ajustement fin. Enfin, nous formulons des heuristiques pour déterminer les hyperparamètres optimaux de l’apprentissage par transfert. Les avantages d’une telle approche non binaire sont confirmés par les résultats finaux, qui atteignent ou dépassent les performances de l’état de l’art sur une variété de tâches traditionnellement difficiles à traiter par apprentissage par transfert.