La représentation parcimonieuse par rapport à un dictionnaire surcomplet est souvent utilisée lors de la régularisation des problèmes inverses en traitement du signal et des images. Au cours des dernières années, le modèle de codage parcimonieux convolutionnel (CSC), dans lequel le dictionnaire est composé de filtres invariants par translation, a suscité un regain d'intérêt. Bien que ce modèle ait été utilisé avec succès dans certaines problématiques de traitement d'images, il reste encore en retard par rapport aux méthodes traditionnelles basées sur les patches pour des tâches simples comme le débruitage.Dans cette étude, nous apportons de nouvelles perspectives sur le modèle CSC et sa capacité à représenter les images naturelles, et nous établissons une connexion bayésienne entre ce modèle et son ancêtre basé sur les patches. Forts de ces observations, nous proposons un nouveau réseau de neurones à propagation avant qui suit un processus d'approximation MMSE (Minimum Mean Square Error) du modèle CSC, en utilisant des convolutions avec décalage (strided convolutions). Les performances de cette architecture supervisée sont montrées être comparables aux méthodes les plus avancées actuellement disponibles tout en utilisant beaucoup moins de paramètres.