Apprentissage de caractéristiques transférables avec des réseaux de neurones profonds adaptatifs

Des études récentes montrent qu'un réseau neuronal profond peut apprendre des caractéristiques transférables qui se généralisent bien à de nouvelles tâches pour l'adaptation de domaine. Cependant, alors que les caractéristiques profondes passent progressivement d'une généralité à une spécificité le long du réseau, la transférabilité des caractéristiques diminue considérablement dans les couches supérieures avec l'augmentation de la discordance entre les domaines. Il est donc crucial de réduire formellement le biais des ensembles de données et d'améliorer la transférabilité dans les couches spécifiques aux tâches. Dans cet article, nous proposons une nouvelle architecture de réseau d'adaptation profonde (Deep Adaptation Network, DAN), qui généralise le réseau neuronal convolutif profond au scénario d'adaptation de domaine. Dans le DAN, les représentations cachées de toutes les couches spécifiques aux tâches sont plongées dans un espace de Hilbert à noyau reproduisant où les plongements moyens des différentes distributions de domaines peuvent être explicitement alignés. La discordance entre les domaines est encore réduite grâce à une méthode optimale de sélection multi-noyaux pour l'appariement des plongements moyens. Le DAN peut apprendre des caractéristiques transférables avec des garanties statistiques et peut s'échelonner linéairement par une estimation non biaisée de l'embedding noyau. De nombreuses preuves empiriques montrent que l'architecture proposée produit des taux d'erreur d'classification d'image parmi les meilleurs sur des benchmarks standard d'adaptation de domaine.