HyperAIHyperAI

Command Palette

Search for a command to run...

il y a 4 mois

EXTENSION DES STRUCTURES DE CONVOLUTION CONDITIONNELLE POUR AMÉLIORER L'APPRENTISSAGE CONTINU MULTITÂCHE

{Chu-Song Chen Cheng-En Wu Cheng-Hao Tu}

EXTENSION DES STRUCTURES DE CONVOLUTION CONDITIONNELLE POUR AMÉLIORER L'APPRENTISSAGE CONTINU MULTITÂCHE

Résumé

Les opérations conditionnelles ont récemment suscité un intérêt croissant dans les études sur l’apprentissage profond, afin d’améliorer la précision des prédictions des modèles. Une avancée récente dans cette direction est représentée par les convolutions paramétriques conditionnelles (CondConv), proposées pour exploiter des capacités supplémentaires offertes par les poids du modèle profond afin d’améliorer les performances, tout en maintenant une complexité computationnelle relativement faible. Le CondConv utilise des paramètres de fusion dépendants de l’entrée, permettant une combinaison adaptative de plusieurs colonnes de noyaux de convolution afin d’optimiser les performances. Au moment de l’exécution, les colonnes de noyaux sont combinées en ligne en un seul noyau, ce qui réduit considérablement la complexité temporelle par rapport à l’utilisation simultanée de plusieurs colonnes dans une couche de convolution, pour une capacité équivalente. Bien que le CondConv soit efficace pour améliorer les performances d’un modèle profond, il est actuellement appliqué uniquement à des tâches individuelles. Étant donné ses propriétés intéressantes – notamment l’ajout de poids au modèle avec une efficacité computationnelle élevée – nous l’étendons à l’apprentissage multi-tâches, où les tâches sont présentées de manière séquentielle. Dans ce travail, nous introduisons une approche d’apprentissage multi-tâches séquentiel (ou continu) fondée sur les structures CondConv, désignée sous le nom de CondConv-Continual. Les résultats expérimentaux montrent que la méthode proposée est efficace pour l’apprentissage continu sans oubli. Par rapport aux approches existantes, le CondConv présente un avantage majeur : il permet une augmentation régulière et facile à implémenter du réseau neuronal afin d’acquérir une capacité supplémentaire, tout en offrant un mécanisme de référence croisée entre les modèles associés à différentes tâches, favorisant ainsi des résultats comparables.

Benchmarks

BenchmarkMéthodologieMétriques
continual-learning-on-cifar100-20-tasksCPG-light
Average Accuracy: 77.0
continual-learning-on-cifar100-20-tasksCondConvContinual
Average Accuracy: 77.4
continual-learning-on-cubs-fine-grained-6CondConvContinual
Accuracy: 84.26
continual-learning-on-flowers-fine-grained-6CondConvContinual
Accuracy: 97.16
continual-learning-on-imagenet-50-5-tasksCondConvContinual
Accuracy: 61.32
continual-learning-on-imagenet-fine-grained-6CondConvContinual
Accuracy: 76.16
continual-learning-on-sketch-fine-grained-6CondConvContinual
Accuracy: 80.77
continual-learning-on-stanford-cars-fineCondConvContinual
Accuracy: 92.61
continual-learning-on-wikiart-fine-grained-6CondConvContinual
Accuracy: 78.32

Construire l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec du co-codage IA gratuit, un environnement prêt à l'emploi et les meilleurs prix GPU.

Co-codage IA
GPU prêts à utiliser
Meilleurs prix
Commencer

Hyper Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
EXTENSION DES STRUCTURES DE CONVOLUTION CONDITIONNELLE POUR AMÉLIORER L'APPRENTISSAGE CONTINU MULTITÂCHE | Articles de recherche | HyperAI