HyperAIHyperAI

Command Palette

Search for a command to run...

il y a 4 mois

Utile ou néfaste : l’association entre tâches en apprentissage continu

{Eunwoo Kim Hyundong Jin}

Utile ou néfaste : l’association entre tâches en apprentissage continu

Résumé

Lors de l’optimisation de tâches arrivant séquentiellement, les réseaux de neurones profonds souffrent généralement du « oubli catastrophique » en raison de leur incapacité à conserver les connaissances acquises lors des tâches antérieures. Ce phénomène peut entraîner une baisse significative de la performance sur les tâches précédemment apprises. Pour atténuer ce problème, des études sur l’apprentissage continu ont été menées comme contre-mesure. Toutefois, celles-ci sont souvent accompagnées d’une augmentation du coût computationnel, résultant soit de l’expansion de la taille du réseau, soit d’un changement de connaissance qui, bien qu’avantageux pour les tâches antérieures, peut induire des interférences néfastes. Dans ce travail, nous proposons une nouvelle approche permettant de distinguer les informations utiles des informations nuisibles pour les tâches anciennes, en utilisant une recherche de modèle afin d’apprendre efficacement la tâche actuelle. Devant une nouvelle tâche, la méthode proposée identifie une connaissance sous-jacente issue des tâches antérieures, qui peut apporter un soutien supplémentaire à l’acquisition des connaissances de la tâche actuelle. En outre, en introduisant une mesure de sensibilité à la perte de la tâche actuelle par rapport aux tâches associées, nous mettons en évidence des relations coopératives entre les tâches tout en atténuant les interférences nuisibles. Nous appliquons l’approche proposée aux scénarios d’apprentissage continu à incrémentation de tâches et d’incrémentation de classes, sur une large gamme de jeux de données, allant des petits aux grands volumes. Les résultats expérimentaux montrent que la méthode proposée surpasse un grand nombre d’approches d’apprentissage continu dans les expériences, tout en atténuant efficacement le phénomène d’oubli catastrophique.

Construire l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec du co-codage IA gratuit, un environnement prêt à l'emploi et les meilleurs prix GPU.

Co-codage IA
GPU prêts à utiliser
Meilleurs prix
Commencer

Hyper Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Utile ou néfaste : l’association entre tâches en apprentissage continu | Articles de recherche | HyperAI