Apprentissage par transfert avec adaptation dynamique des distributions

Le transfert de connaissances vise à apprendre des classifieurs robustes pour le domaine cible en exploitant les connaissances issues d’un domaine source. Étant donné que les domaines source et cible proviennent généralement de distributions différentes, les méthodes existantes se concentrent principalement sur l’adaptation des distributions marginales ou conditionnelles entre domaines. Toutefois, dans les applications réelles, les distributions marginales et conditionnelles contribuent de manière inégale à l’écart entre domaines. Les méthodes actuelles échouent à évaluer de manière quantitative l’importance respective de ces deux types de distributions, ce qui entraîne une performance de transfert insatisfaisante. Dans cet article, nous proposons un nouveau concept appelé Adaptation Dynamique des Distribution (DDA), capable d’évaluer quantitativement l’importance relative de chaque distribution. Le DDA peut être facilement intégré dans le cadre de la minimisation de la risque structuré afin de résoudre des problèmes de transfert de connaissances. À partir de ce cadre DDA, nous proposons deux nouveaux algorithmes d’apprentissage : (1) l’Adaptation Dynamique des Distribution sur la Variété (MDDA) pour le transfert de connaissances classique, et (2) le Réseau d’Adaptation Dynamique des Distribution (DDAN) pour le transfert de connaissances profond. Des expérimentations étendues montrent que MDDA et DDAN améliorent significativement la performance du transfert de connaissances et établissent une référence solide par rapport aux méthodes récentes profondes et adversariales sur des tâches telles que la reconnaissance de chiffres, l’analyse de sentiment et la classification d’images. Plus important encore, nous démontrons que les distributions marginales et conditionnelles ont des contributions différentes à la divergence entre domaines, et que notre approche DDA permet une évaluation quantitative précise de leur importance relative, conduisant à une meilleure performance. Nous pensons que cette observation pourra être utile pour les recherches futures en transfert de connaissances.