Adaptation non supervisée de domaine par rétropropagation

Les architectures de réseau neuronal profond les plus performantes sont formées à partir de quantités massives de données étiquetées. En l'absence de données étiquetées pour une tâche spécifique, l'adaptation de domaine offre souvent une option intéressante, étant donné que des données étiquetées similaires mais issues d'un autre domaine (par exemple, des images synthétiques) sont disponibles. Dans cet article, nous proposons une nouvelle approche d'adaptation de domaine dans les architectures profondes qui peut être formée à partir d'une grande quantité de données étiquetées du domaine source et d'une grande quantité de données non étiquetées du domaine cible (aucune donnée étiquetée du domaine cible n'est nécessaire).Au fur et à mesure que la formation progresse, cette approche favorise l'émergence de caractéristiques « profondes » qui sont (i) discriminantes pour la tâche principale d'apprentissage sur le domaine source et (ii) invariantes par rapport au décalage entre les domaines. Nous montrons que ce comportement d'adaptation peut être réalisé dans presque tout modèle à propagation avant en l'augmentant avec quelques couches standards et une nouvelle couche simple de réversibilité du gradient. L'architecture augmentée résultante peut être formée en utilisant la rétropropagation standard.Dans son ensemble, cette approche peut être mise en œuvre avec peu d'efforts en utilisant n'importe quel package d'apprentissage profond. La méthode se distingue par des performances très satisfaisantes dans une série d'expériences de classification d'images, atteignant un effet d'adaptation en présence de grands écarts entre les domaines et surpassant les méthodes précédentes de pointe sur les jeux de données Office.