Apprentissage efficace tout au long de la vie avec A-GEM

Dans l'apprentissage tout au long de la vie, le apprenant est confronté à une séquence de tâches, construisant progressivement une priorité basée sur les données qui peut être exploitée pour accélérer l'apprentissage d'une nouvelle tâche. Dans cette étude, nous examinons l'efficacité des approches actuelles d'apprentissage tout au long de la vie en termes de complexité échantillonnale, de coût computationnel et de coût mémoire. À cette fin, nous introduisons d'abord un nouveau protocole d'évaluation plus réaliste, dans lequel les apprenants observent chaque exemple une seule fois et la sélection des hyper-paramètres est effectuée sur un petit ensemble disjoint de tâches qui n'est pas utilisé pour l'expérience réelle d'apprentissage et l'évaluation. Deuxièmement, nous présentons une nouvelle métrique mesurant la vitesse à laquelle un apprenant acquiert une nouvelle compétence. Troisièmement, nous proposons une version améliorée de GEM (Lopez-Paz & Ranzato, 2017), appelée Averaged GEM (A-GEM), qui offre des performances équivalentes ou même supérieures à celles de GEM tout en étant presque aussi efficace en termes de calcul et de mémoire que EWC (Kirkpatrick et al., 2016) et d'autres méthodes basées sur la régularisation. Enfin, nous montrons que tous les algorithmes, y compris A-GEM, peuvent apprendre encore plus rapidement s'ils sont fournis avec des descripteurs de tâches spécifiant les tâches de classification considérées. Nos expériences sur plusieurs benchmarks standards d'apprentissage tout au long de la vie démontrent que A-GEM présente le meilleur compromis entre précision et efficacité.