L'adaptabilité humaine repose de manière cruciale sur la capacité d'apprendre et de fusionner des connaissances issues à la fois de l'apprentissage supervisé et non supervisé : les parents soulignent quelques concepts importants, mais ensuite les enfants comblent les lacunes par eux-mêmes. Cette approche est particulièrement efficace, car l'apprentissage supervisé ne peut jamais être exhaustif, et donc apprendre de manière autonome permet de découvrir des invariances et des régularités qui aident à généraliser. Dans cet article, nous proposons d'appliquer une approche similaire à la tâche de reconnaissance d'objets entre différents domaines : notre modèle apprend les étiquettes sémantiques de manière supervisée, et élargit sa compréhension des données en apprenant à partir de signaux auto-supervisés comment résoudre un puzzle jigsaw sur les mêmes images. Cette tâche secondaire aide le réseau à apprendre les concepts de corrélation spatiale tout en agissant comme un régulariseur pour la tâche de classification. De multiples expériences menées sur les jeux de données PACS, VLCS, Office-Home et Digits confirment notre intuition et montrent que cette méthode simple surpasses les solutions précédentes de généralisation et d'adaptation inter-domaines. Une étude d'ablation illustre davantage le fonctionnement interne de notre approche.