Command Palette
Search for a command to run...
Utile ou néfaste : l’association entre tâches en apprentissage continu
{Eunwoo Kim Hyundong Jin}

Résumé
Lors de l’optimisation de tâches arrivant séquentiellement, les réseaux de neurones profonds souffrent généralement du « oubli catastrophique » en raison de leur incapacité à conserver les connaissances acquises lors des tâches antérieures. Ce phénomène peut entraîner une baisse significative de la performance sur les tâches précédemment apprises. Pour atténuer ce problème, des études sur l’apprentissage continu ont été menées comme contre-mesure. Toutefois, celles-ci sont souvent accompagnées d’une augmentation du coût computationnel, résultant soit de l’expansion de la taille du réseau, soit d’un changement de connaissance qui, bien qu’avantageux pour les tâches antérieures, peut induire des interférences néfastes. Dans ce travail, nous proposons une nouvelle approche permettant de distinguer les informations utiles des informations nuisibles pour les tâches anciennes, en utilisant une recherche de modèle afin d’apprendre efficacement la tâche actuelle. Devant une nouvelle tâche, la méthode proposée identifie une connaissance sous-jacente issue des tâches antérieures, qui peut apporter un soutien supplémentaire à l’acquisition des connaissances de la tâche actuelle. En outre, en introduisant une mesure de sensibilité à la perte de la tâche actuelle par rapport aux tâches associées, nous mettons en évidence des relations coopératives entre les tâches tout en atténuant les interférences nuisibles. Nous appliquons l’approche proposée aux scénarios d’apprentissage continu à incrémentation de tâches et d’incrémentation de classes, sur une large gamme de jeux de données, allant des petits aux grands volumes. Les résultats expérimentaux montrent que la méthode proposée surpasse un grand nombre d’approches d’apprentissage continu dans les expériences, tout en atténuant efficacement le phénomène d’oubli catastrophique.
Benchmarks
| Benchmark | Méthodologie | Métriques |
|---|---|---|
| continual-learning-on-cubs-fine-grained-6 | H$^{2}$ | Accuracy: 84.1 |
| continual-learning-on-flowers-fine-grained-6 | H$^{2}$ | Accuracy: 94.9 |
| continual-learning-on-imagenet-fine-grained-6 | H$^{2}$ | Accuracy: 75.71 |
| continual-learning-on-sketch-fine-grained-6 | H$^{2}$ | Accuracy: 76.2 |
| continual-learning-on-split-cifar-10-5-tasks | H$^{2}$ | Top 1 Accuracy %: 97.3 |
| continual-learning-on-split-mnist-5-tasks | H$^{2}$ | Top 1 Accuracy %: 99.9 |
| continual-learning-on-stanford-cars-fine | H$^{2}$ | Accuracy: 90.6 |
| continual-learning-on-wikiart-fine-grained-6 | H$^{2}$ | Accuracy: 75.1 |
Construire l'IA avec l'IA
De l'idée au lancement — accélérez votre développement IA avec du co-codage IA gratuit, un environnement prêt à l'emploi et les meilleurs prix GPU.