Apprentissage peu supervisé incrémental par quantification vectorielle dans l’espace embarqué profond

La capacité à apprendre de nouvelles tâches de manière incrémentale sans oublier les anciennes constitue un problème difficile en raison du phénomène d’oubli catastrophique. Ce défi s’aggrave lorsque les nouvelles tâches comportent très peu d’échantillons étiquetés. Actuellement, la plupart des méthodes se concentrent sur l’apprentissage incrémental par classes et reposent sur des données d’entraînement abondantes afin d’apprendre de nouveaux poids pour les classes ajoutées. Ces approches ne se généralisent pas aisément aux tâches d’inférence incrémentale par régression et peuvent souffrir d’un surapprentissage sévère lorsqu’elles sont appliquées à des tâches nouvelles en peu d’exemples (few-shot). Dans cette étude, nous proposons une méthode non paramétrique dans l’espace intégré profond pour aborder les problèmes d’apprentissage incrémental en peu d’exemples. Les connaissances acquises sur les tâches précédemment apprises sont compressées en un petit nombre de vecteurs de référence quantifiés. La méthode proposée apprend les nouvelles tâches de manière séquentielle en ajoutant de nouveaux vecteurs de référence au modèle à l’aide de très peu d’exemples pour chaque tâche nouvelle. Pour les problèmes de classification, nous utilisons une stratégie de plus proche voisin pour effectuer la classification sur des données peu denses, tout en intégrant une régularisation contre l’oubli, une prise en compte de la variation intra-classe et une calibration des vecteurs de référence afin de réduire l’oubli catastrophique. En outre, la quantification vectorielle d’apprentissage (LVQ) proposée dans l’espace intégré profond peut être adaptée en lisseur à noyau afin de traiter les tâches de régression incrémentale en peu d’exemples. Les résultats expérimentaux démontrent que la méthode proposée surpasse les autres approches de pointe dans le domaine de l’apprentissage incrémental.