Apprentissage alterné multimodal avec représentations conscientes de la tâche pour l'apprentissage continu

L'apprentissage continu est un domaine de recherche des réseaux de neurones artificiels visant à simuler la capacité d'apprentissage tout au long de la vie humaine. Bien que de nombreuses études récentes aient atteint des performances remarquables, la plupart se limitent à la modalité visuelle pour les tâches d'identification d'images incrémentales. Dans cet article, nous proposons un cadre novateur et efficace, intitulé Alternating Learning with Task-Aware representations (ALTA), permettant une utilisation optimale des informations visuelles et linguistiques afin d’atteindre un apprentissage continu plus performant. Pour ce faire, ALTA introduit un mécanisme d’apprentissage conjoint cross-modale qui exploite l’apprentissage simultané des représentations visuelles et linguistiques afin d’offrir une supervision plus efficace. De plus, il atténue le phénomène d’oubli en dotant les représentations sensibles aux tâches d’une capacité d’apprentissage continu. Parallèlement, face au dilemme entre stabilité et plasticité, ALTA propose une stratégie d’apprentissage alterné cross-modale qui apprend de manière alternée les représentations cross-modales sensibles aux tâches, améliorant ainsi la correspondance entre les paires image-texte à travers les tâches, et renforçant davantage la capacité d’apprentissage continu. Nous menons des expérimentations approfondies sur diverses benchmarks populaires de classification d’images, démontrant que notre approche atteint des performances de pointe. En outre, des études d’ablation systématiques et des analyses de visualisation confirment l’efficacité et la cohérence de notre méthode. Le code source d’ALTA est disponible à l’adresse suivante : \url{https://github.com/vijaylee/ALTA}.