Dans cette étude, nous examinons diverses méthodes pour traiter l'étiquetage sémantique de données de télédétection multi-modales à très haute résolution. Plus particulièrement, nous analysons comment les réseaux neuronaux profonds entièrement convolutifs peuvent être adaptés pour gérer des données de télédétection multi-modales et multi-échelles en vue de leur étiquetage sémantique. Nos contributions sont triples : a) nous présentons une approche multi-échelle efficace permettant d'exploiter à la fois un grand contexte spatial et des données à très haute résolution, b) nous explorons la fusion précoce et tardive des données Lidar et multispéciales, c) nous validons nos méthodes sur deux jeux de données publics avec des résultats d'avant-garde. Nos résultats montrent que la fusion tardive permet de corriger les erreurs issues de données ambiguës, tandis que la fusion précoce favorise un apprentissage plus performant des caractéristiques conjointes, mais au prix d'une sensibilité accrue aux données manquantes.