HyperAIHyperAI

Command Palette

Search for a command to run...

Surmonter le oubli catastrophique dans l'apprentissage incrémental à faible exemple en cherchant des minima plats

Guangyuan Shi Jiaxin Chen Wenlong Zhang Li-Ming Zhan Xiao-Ming Wu

Résumé

Ce papier s'intéresse à l'apprentissage incrémental à peu d'exemples (incremental few-shot learning), une tâche qui consiste à faire reconnaître à un modèle de nouvelles catégories à partir d'un nombre très limité d'exemples. Notre étude révèle que les méthodes existantes souffrent fortement du phénomène de forgetting catastrophique, un problème bien connu dans l'apprentissage incrémental, qui est exacerbé par la rareté et le déséquilibre des données caractéristiques du cadre à peu d'exemples. Une analyse plus approfondie indique que pour prévenir ce forgetting catastrophique, des mesures doivent être prises dès la phase initiale — à savoir lors de l'entraînement des classes de base — et non pas lors des sessions ultérieures d'apprentissage à peu d'exemples. Par conséquent, nous proposons de rechercher des minima locaux plats de la fonction objectif d'entraînement des classes de base, puis de fin-tuner les paramètres du modèle dans cette région plate lors de l'apprentissage de nouvelles tâches. Ainsi, le modèle peut apprendre efficacement de nouvelles classes tout en préservant les connaissances acquises précédemment. Les résultats expérimentaux complets démontrent que notre approche surpasser toutes les méthodes de pointe précédentes et se rapproche étroitement de la borne supérieure approximative. Le code source est disponible à l'adresse suivante : https://github.com/moukamisama/F2M.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp