La restauration d'images est une tâche visant à obtenir une image de haute qualité à partir d'une image d'entrée corrompue, comme la défloutage et la dépluie. Dans le domaine de la restauration d'images, il est généralement nécessaire de maintenir un équilibre complexe entre les détails spatiaux et les informations contextuelles. Bien qu'un réseau multi-étapes puisse optimalement équilibrer ces objectifs concurrents et atteindre des performances significatives, cela augmente également la complexité du système. Dans cet article, nous proposons une conception en une seule étape en forme de montagne basée sur une architecture U-Net simple, qui supprime ou remplace les fonctions d'activation non linéaires inutiles pour réaliser l'équilibre mentionné avec une faible complexité du système. Plus précisément, nous proposons un mécanisme de fusion de caractéristiques (Feature Fusion Middleware - FFM) en tant que composant d'échange d'informations entre les niveaux architecturaux de l'encodeur-décodeur. Il intègre sans couture les informations des couches supérieures aux couches inférieures adjacentes, jusqu'à la couche la plus basse. Enfin, toutes les informations sont fusionnées au niveau de manipulation de la résolution de l'image originale. Cela permet de préserver les détails spatiaux tout en intégrant les informations contextuelles, garantissant ainsi une restauration d'image de haute qualité. De plus, nous proposons un bloc intermédiaire à attention multi-têtes (Multi-Head Attention Middle Block - MHAMB) comme pont entre l'encodeur et le décodeur pour capturer davantage d'informations globales et surmonter les limitations du champ récepteur des CNNs. Des expériences approfondies montrent que notre approche, nommée M3SNet, surpassent les modèles précédents considérés comme étant à l'état de l'art tout en utilisant moins de la moitié des coûts computationnels pour plusieurs tâches de restauration d'images telles que la dépluie et la défloutage.