Apprentissage incrémentiel à grande échelle

L'apprentissage automatique moderne souffre d'un oubli catastrophique lorsqu'il apprend de nouvelles classes de manière incrémentielle. Les performances se dégradent considérablement en raison de l'absence de données des anciennes classes. Des méthodes d'apprentissage incrémentiel ont été proposées pour conserver les connaissances acquises à partir des anciennes classes, en utilisant le distillation de connaissances et en conservant quelques exemples des anciennes classes. Cependant, ces méthodes peinent à s'adapter à un grand nombre de classes. Nous pensons que cela est dû à la combinaison de deux facteurs : (a) l'imbalance des données entre les anciennes et les nouvelles classes, et (b) l'augmentation du nombre de classes visuellement similaires. La distinction entre un nombre croissant de classes visuellement similaires est particulièrement difficile lorsque les données d'entraînement sont déséquilibrées. Nous proposons une méthode simple et efficace pour résoudre ce problème d'imbalance des données. Nous avons constaté que la dernière couche entièrement connectée présente un biais fort en faveur des nouvelles classes, et que ce biais peut être corrigé par un modèle linéaire. Avec deux paramètres de biais, notre méthode obtient des résultats remarquables sur deux grands ensembles de données : ImageNet (1000 classes) et MS-Celeb-1M (10 000 classes), surpassant respectivement les algorithmes de pointe actuels de 11,1 % et 13,2 %.