Formation de réseaux de neurones par apprentissage adverse de domaine

Nous présentons une nouvelle approche d'apprentissage de représentation pour l'adaptation de domaine, dans laquelle les données d'entraînement et de test proviennent de distributions similaires mais différentes. Notre approche est directement inspirée de la théorie sur l'adaptation de domaine, qui suggère que, pour réaliser un transfert de domaine efficace, les prédictions doivent être faites sur la base de caractéristiques qui ne peuvent pas distinguer entre le domaine d'entraînement (source) et le domaine de test (cible). Cette approche met en œuvre cette idée dans le contexte d'architectures de réseaux neuronaux entraînées sur des données étiquetées du domaine source et des données non étiquetées du domaine cible (aucune donnée étiquetée du domaine cible n'est nécessaire). Au fur et à mesure que l'entraînement progresse, notre approche favorise l'émergence de caractéristiques qui sont (i) discriminantes pour la tâche principale d'apprentissage dans le domaine source et (ii) indiscernables par rapport au décalage entre les domaines. Nous montrons que ce comportement d'adaptation peut être réalisé dans presque tout modèle à propagation avant en l'augmentant avec quelques couches standards et une nouvelle couche de renversement du gradient. L'architecture augmentée résultante peut être entraînée en utilisant la rétropropagation standard et la descente stochastique du gradient, et peut donc être mise en œuvre avec peu d'efforts à l'aide de n'importe quel package d'apprentissage profond. Nous démontrons le succès de notre approche pour deux problèmes distincts de classification (analyse des sentiments dans les documents et classification d'images), où des performances d'adaptation de domaine à l'état de l'art sont atteintes sur des benchmarks standard. Nous validons également cette approche pour la tâche d'apprentissage descripteur dans le contexte de l'application de réidentification des personnes.