Surmonter le oubli catastrophique dans l'apprentissage incrémental à faible exemple en cherchant des minima plats

Ce papier s'intéresse à l'apprentissage incrémental à peu d'exemples (incremental few-shot learning), une tâche qui consiste à faire reconnaître à un modèle de nouvelles catégories à partir d'un nombre très limité d'exemples. Notre étude révèle que les méthodes existantes souffrent fortement du phénomène de forgetting catastrophique, un problème bien connu dans l'apprentissage incrémental, qui est exacerbé par la rareté et le déséquilibre des données caractéristiques du cadre à peu d'exemples. Une analyse plus approfondie indique que pour prévenir ce forgetting catastrophique, des mesures doivent être prises dès la phase initiale — à savoir lors de l'entraînement des classes de base — et non pas lors des sessions ultérieures d'apprentissage à peu d'exemples. Par conséquent, nous proposons de rechercher des minima locaux plats de la fonction objectif d'entraînement des classes de base, puis de fin-tuner les paramètres du modèle dans cette région plate lors de l'apprentissage de nouvelles tâches. Ainsi, le modèle peut apprendre efficacement de nouvelles classes tout en préservant les connaissances acquises précédemment. Les résultats expérimentaux complets démontrent que notre approche surpasser toutes les méthodes de pointe précédentes et se rapproche étroitement de la borne supérieure approximative. Le code source est disponible à l'adresse suivante : https://github.com/moukamisama/F2M.