La segmentation sémantique exige des approches capables d’apprendre des caractéristiques de haut niveau tout en traitant d’énormes volumes de données. Les réseaux de neurones convolutifs (CNN) sont capables d’apprendre des caractéristiques uniques et adaptatives afin d’atteindre cet objectif. Toutefois, en raison de la taille importante et de la haute résolution spatiale des images de télédétection, ces réseaux peinent à analyser efficacement une scène entière. Récemment, les transformateurs profonds se sont révélés capables de capturer des interactions globales entre différents objets présents dans une image. Dans ce travail, nous proposons un nouveau modèle de segmentation combinant réseaux de neurones convolutifs et transformateurs, et démontrons que ce mélange de techniques d’extraction de caractéristiques locales et globales offre des avantages significatifs pour la segmentation des images de télédétection. En outre, le modèle proposé intègre deux couches de fusion conçues pour représenter efficacement les entrées multimodales et la sortie du réseau. La couche de fusion d’entrée extrait des cartes de caractéristiques résumant les relations entre le contenu de l’image et les cartes d’élévation (DSM). La couche de fusion de sortie met en œuvre une stratégie originale de segmentation multi-tâches, dans laquelle les étiquettes de classe sont identifiées à l’aide de couches d’extraction de caractéristiques spécifiques à chaque classe et de fonctions de perte adaptées. Enfin, une méthode de propagation rapide est appliquée pour convertir toutes les étiquettes non identifiées en leurs voisins les plus proches connus. Nos résultats montrent que la méthodologie proposée améliore significativement la précision de segmentation par rapport aux techniques de pointe actuelles.