Apprentissage à queue longue avec un modèle de base : une fine-tuning lourde nuit

Le paradigme de l'ajustement fin (fine-tuning) dans la résolution des tâches d'apprentissage à queue longue (long-tail learning) a suscité un intérêt considérable depuis l'émergence des modèles fondamentaux (foundation models). Néanmoins, l'impact de l'ajustement fin sur les performances dans l'apprentissage à queue longue n'a pas été explicitement quantifié. Dans cet article, nous révélons que l'ajustement fin intensif peut même entraîner une dégradation des performances non négligeable sur les classes de la queue, tandis que l'ajustement fin léger est plus efficace. Cette raison est attribuée aux conditions de classe incohérentes causées par l'ajustement fin intensif. À la lumière de cette observation, nous avons développé des algorithmes d'apprentissage à queue longue LIFT à faible complexité et précis, visant à faciliter des prédictions rapides et des modèles compacts grâce à un ajustement fin léger adaptatif. Les expériences montrent clairement que le temps d'entraînement et les paramètres appris sont significativement réduits avec une performance prédictive plus précise par rapport aux approches de pointe. Le code d'implémentation est disponible sur https://github.com/shijxcs/LIFT.