HyperAIHyperAI

Command Palette

Search for a command to run...

Expérience sombre pour l'apprentissage continu généralisé : une base simple et puissante

Pietro Buzzega Matteo Boschini Angelo Porrello Davide Abati Simone Calderara

Résumé

L’apprentissage continu a inspiré une grande diversité d’approches et de cadres d’évaluation ; toutefois, la majorité d’entre elles ignorent les propriétés d’un scénario réel, dans lequel le flux de données ne peut pas être structuré comme une séquence de tâches et où l’apprentissage hors ligne n’est pas viable. Nous nous orientons vers l’Apprentissage Continu Généralisé (GCL), dans lequel les frontières entre tâches s’estompent et les distributions de domaines et de classes évoluent de manière progressive ou soudaine. Nous abordons ce défi en combinant la répétition (rehearsal) avec la distillation de connaissances et la régularisation. Notre base simple, appelée Dark Experience Replay, aligne les logits du réseau sur l’ensemble de l’itération d’optimisation, favorisant ainsi une cohérence avec son passé. Grâce à une analyse approfondie menée sur des benchmarks standards ainsi qu’un nouveau cadre d’évaluation pour le GCL (MNIST-360), nous démontrons qu’une telle base apparemment simple surpasse les approches consolidées tout en exploitant efficacement des ressources limitées. Nous explorons également les capacités de généralisation de notre objectif, en montrant que sa régularisation est bénéfique au-delà de simples gains de performance.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp