HyperAIHyperAI

Command Palette

Search for a command to run...

il y a 4 mois

Apprentissage alterné multimodal avec représentations conscientes de la tâche pour l'apprentissage continu

{Bin-Bin Gao}

Résumé

L'apprentissage continu est un domaine de recherche des réseaux de neurones artificiels visant à simuler la capacité d'apprentissage tout au long de la vie humaine. Bien que de nombreuses études récentes aient atteint des performances remarquables, la plupart se limitent à la modalité visuelle pour les tâches d'identification d'images incrémentales. Dans cet article, nous proposons un cadre novateur et efficace, intitulé Alternating Learning with Task-Aware representations (ALTA), permettant une utilisation optimale des informations visuelles et linguistiques afin d’atteindre un apprentissage continu plus performant. Pour ce faire, ALTA introduit un mécanisme d’apprentissage conjoint cross-modale qui exploite l’apprentissage simultané des représentations visuelles et linguistiques afin d’offrir une supervision plus efficace. De plus, il atténue le phénomène d’oubli en dotant les représentations sensibles aux tâches d’une capacité d’apprentissage continu. Parallèlement, face au dilemme entre stabilité et plasticité, ALTA propose une stratégie d’apprentissage alterné cross-modale qui apprend de manière alternée les représentations cross-modales sensibles aux tâches, améliorant ainsi la correspondance entre les paires image-texte à travers les tâches, et renforçant davantage la capacité d’apprentissage continu. Nous menons des expérimentations approfondies sur diverses benchmarks populaires de classification d’images, démontrant que notre approche atteint des performances de pointe. En outre, des études d’ablation systématiques et des analyses de visualisation confirment l’efficacité et la cohérence de notre méthode. Le code source d’ALTA est disponible à l’adresse suivante : \url{https://github.com/vijaylee/ALTA}.

Benchmarks

BenchmarkMéthodologieMétriques
continual-learning-on-cifar100-10-tasksALTA-RN50
Average Accuracy: 83.87
continual-learning-on-cifar100-10-tasksALTA-ViTB/16
Average Accuracy: 92.85
continual-learning-on-cifar100-10-tasksALTA-RN101
Average Accuracy: 84.77
continual-learning-on-cifar100-10-tasksALTA-RN50x4
Average Accuracy: 84.91
continual-learning-on-tiny-imagenet-10tasksALTA-RN101
Average Accuracy: 83.35
continual-learning-on-tiny-imagenet-10tasksALTA-ViTB/16
Average Accuracy: 89.80
continual-learning-on-tiny-imagenet-10tasksALTA-RN50x4
Average Accuracy: 84.73
continual-learning-on-tiny-imagenet-10tasksALTA-RN50
Average Accuracy: 81.07

Construire l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec du co-codage IA gratuit, un environnement prêt à l'emploi et les meilleurs prix GPU.

Co-codage IA
GPU prêts à utiliser
Meilleurs prix
Commencer

Hyper Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Apprentissage alterné multimodal avec représentations conscientes de la tâche pour l'apprentissage continu | Articles de recherche | HyperAI