HyperAIHyperAI

Command Palette

Search for a command to run...

Apprentissage à queue longue avec un modèle de base : une fine-tuning lourde nuit

Jiang-Xin Shi; Tong Wei; Zhi Zhou; Jie-Jing Shao; Xin-Yan Han; Yu-Feng Li

Résumé

Le paradigme de l'ajustement fin (fine-tuning) dans la résolution des tâches d'apprentissage à queue longue (long-tail learning) a suscité un intérêt considérable depuis l'émergence des modèles fondamentaux (foundation models). Néanmoins, l'impact de l'ajustement fin sur les performances dans l'apprentissage à queue longue n'a pas été explicitement quantifié. Dans cet article, nous révélons que l'ajustement fin intensif peut même entraîner une dégradation des performances non négligeable sur les classes de la queue, tandis que l'ajustement fin léger est plus efficace. Cette raison est attribuée aux conditions de classe incohérentes causées par l'ajustement fin intensif. À la lumière de cette observation, nous avons développé des algorithmes d'apprentissage à queue longue LIFT à faible complexité et précis, visant à faciliter des prédictions rapides et des modèles compacts grâce à un ajustement fin léger adaptatif. Les expériences montrent clairement que le temps d'entraînement et les paramètres appris sont significativement réduits avec une performance prédictive plus précise par rapport aux approches de pointe. Le code d'implémentation est disponible sur https://github.com/shijxcs/LIFT.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp