Les réseaux neuronaux convolutifs à de nombreuses couches ont récemment montré des résultats excellents dans de nombreuses tâches de haut niveau telles que la classification d'images, la détection d'objets et, plus récemment, la segmentation sémantique. En particulier pour la segmentation sémantique, une procédure en deux étapes est souvent utilisée. Dans cette procédure, les réseaux convolutifs sont formés pour fournir de bonnes caractéristiques pixel par pixel locales pour l'étape suivante, qui est traditionnellement un modèle graphique plus global. Dans ce travail, nous unifions ce processus en deux étapes en un seul algorithme d'apprentissage conjoint. Nous illustrons notre méthode sur la tâche de segmentation sémantique d'images et présentons des résultats encourageants sur le jeu de données difficile PASCAL VOC 2012.