L'élimination du brouillard dans les images vise à récupérer le contenu non corrompu d'une image embuée. Au lieu d'utiliser des contraintes de restauration basées sur des méthodes traditionnelles ou des a priori d'image conçus manuellement, comme les canaux sombres et l'augmentation du contraste, nous proposons un réseau de agrégation contextuelle par portes (gated context aggregation network) de bout en bout pour restaurer directement l'image finale sans brouillard. Dans ce réseau, nous utilisons la dernière technique de dilatation lissée pour aider à éliminer les artefacts de grille causés par la convolution dilatée largement utilisée, avec un ajout négligeable de paramètres, et nous exploitons un sous-réseau par portes pour fusionner les caractéristiques provenant de différents niveaux. De nombreuses expériences montrent que notre méthode peut surpasser largement les méthodes précédentes de pointe, tant quantitativement que qualitativement. De plus, pour démontrer la généralité de notre méthode proposée, nous l'avons également appliquée à la tâche d'élimination de la pluie dans les images, où elle atteint également des performances de pointe. Le code est disponible sur https://github.com/cddlyf/GCANet.