Dans ce travail, nous proposons l’imagerie dans le domaine des infrarouges à longue onde (LWIR) comme modalité complémentaire prometteuse pour la segmentation sémantique basée sur des techniques d’apprentissage automatique. Nous abordons tout d’abord le problème de la calibration des caméras RGB et thermiques en proposant une cible et une procédure de calibration passive, à la fois portable et facile à utiliser. Ensuite, nous présentons PST900, un jeu de données comprenant 894 paires d’images synchronisées et calibrées en RGB et thermique, munies d’annotations pixel-par-pixel pour quatre classes distinctes issues du Défi souterrain de la DARPA. Enfin, nous proposons une architecture de réseau de neurones convolutifs (CNN) permettant une segmentation sémantique rapide en combinant efficacement les images RGB et thermiques, tout en exploitant indépendamment l’information fournie par les images RGB. Nous comparons notre méthode aux états de l’art et démontrons qu’elle surpasser les approches existantes sur notre jeu de données.