L'apprentissage multi-tâches dans les réseaux de neurones convolutifs (ConvNets) a montré un succès remarquable dans le domaine de la reconnaissance. Ce succès peut être largement attribué à l'apprentissage de représentations partagées à partir de plusieurs tâches supervisées. Cependant, les approches multi-tâches existantes reposent sur l'énumération de multiples architectures de réseau spécifiques aux tâches en question, qui ne généralisent pas bien. Dans cet article, nous proposons une approche fondée sur des principes pour apprendre des représentations partagées dans les ConvNets en utilisant l'apprentissage multi-tâches. Plus précisément, nous introduisons une nouvelle unité de partage : l'unité « cross-stitch » (croix-rousse). Ces unités combinent les activations provenant de plusieurs réseaux et peuvent être entraînées de manière end-to-end. Un réseau doté d'unités « cross-stitch » peut apprendre une combinaison optimale de représentations partagées et spécifiques à la tâche. Notre méthode proposée généralise sur plusieurs tâches et montre une amélioration significative des performances par rapport aux méthodes de base pour les catégories ayant peu d'exemples d'entraînement.