Des rapports récents suggèrent qu'un modèle de CNN profonde supervisée générique formé sur un jeu de données à grande échelle réduit, mais n'élimine pas complètement, le biais du jeu de données sur un banc d'essai standard. L'ajustement fin des modèles profonds dans un nouveau domaine peut nécessiter une quantité importante de données, ce qui n'est souvent pas disponible pour de nombreuses applications. Nous proposons une nouvelle architecture de CNN qui introduit une couche d'adaptation et une perte supplémentaire de confusion de domaine, afin d'apprendre une représentation à la fois sémantiquement significative et invariante au domaine. Nous montrons également qu'une métrique de confusion de domaine peut être utilisée pour la sélection du modèle afin de déterminer la dimension d'une couche d'adaptation et la meilleure position pour cette couche dans l'architecture de CNN. Notre méthode d'adaptation proposée offre des performances empiriques qui surpassent les résultats précédemment publiés sur une tâche standard d'adaptation visuelle inter-domaines.