Ce document aborde le problème de l'estimation de profondeur à partir d'une seule image fixe. Inspiré par les travaux récents sur les réseaux neuronaux convolutifs multi-échelles (CNN), nous proposons un modèle profond qui fusionne des informations complémentaires issues de plusieurs sorties latérales de CNN. Contrairement aux méthodes précédentes, l'intégration est obtenue au moyen de champs aléatoires conditionnels continus (CRFs). Plus particulièrement, nous proposons deux variations différentes : l'une basée sur une cascade de plusieurs CRFs, et l'autre sur un modèle graphique unifié. En concevant une nouvelle implémentation de CNN pour les mises à jour du champ moyen des CRFs continus, nous montrons que les deux modèles proposés peuvent être considérés comme des réseaux profonds séquentiels et que leur entraînement peut être effectué de manière end-to-end. À travers une évaluation expérimentale approfondie, nous démontrons l'efficacité de notre approche et établissons de nouveaux résultats d'état de l'art sur des jeux de données publiquement disponibles.