Généralisation efficace des domaines par décomposition de rang faible commune-spécifique

La généralisation de domaine fait référence à la tâche d'entraîner un modèle capable de généraliser à de nouveaux domaines non observés lors de l'entraînement. Nous présentons CSD (Décomposition Commune Spécifique), une méthode qui apprend conjointement une composante commune (qui généralise aux nouveaux domaines) et une composante spécifique au domaine (qui suradapte aux domaines d'entraînement). Les composantes spécifiques au domaine sont éliminées après l'entraînement, ne conservant que la composante commune. L'algorithme est extrêmement simple et ne nécessite que de modifier la couche finale de classification linéaire de toute architecture de réseau neuronal donnée. Nous fournissons une analyse fondamentale pour comprendre les approches existantes, des résultats d'identifiabilité pour CSD, et nous étudions l'effet du rang faible sur la généralisation de domaine. Nous montrons que CSD soit égale, soit surpasser les approches les plus avancées en matière de généralisation de domaine basées sur l'effacement de domaine, l'augmentation de données perturbées par domaine et l'apprentissage par méta-apprentissage. Des diagnostics supplémentaires sur MNIST rotatif, où les domaines sont interprétables, confirment l'hypothèse que CSD réussit à séparer efficacement les composantes communes et spécifiques au domaine, conduisant ainsi à une meilleure généralisation de domaine.