FFA-Net: 단일 이미지 화이트닝을 위한 특징 융합 주의망

이 논문에서는 흐림 제거 이미지를 직접 복원하기 위해 엔드투엔드 특징 융합 주의망(FFA-Net)을 제안한다. FFA-Net 아키텍처는 다음과 같은 세 가지 핵심 구성 요소로 구성된다.1) 새로운 특징 주의(Feature Attention, FA) 모듈은 채널 주의(Channel Attention)와 픽셀 주의(Pixel Attention) 메커니즘을 결합하며, 서로 다른 채널별 특징이 완전히 다른 가중 정보를 포함하고 있으며, 흐림의 분포가 이미지의 다양한 픽셀에서 비균일하게 분포된다는 점을 고려한다. FA 모듈은 다양한 특징과 픽셀에 대해 차등적으로 대응함으로써, 다양한 유형의 정보 처리에 추가적인 유연성을 제공하며, CNN의 표현 능력을 확장한다.2) 로컬 잔차 학습(Local Residual Learning)과 특징 주의를 포함하는 기본 블록 구조는, 얇은 흐림 영역이나 저주파 정보와 같은 중요도가 낮은 정보를 다수의 로컬 잔차 연결을 통해 회피하게 하여, 주 네트워크 아키텍처가 더 효과적인 정보에 집중할 수 있도록 한다.3) 주의 기반의 다수준 특징 융합(Attention-based Different Levels Feature Fusion, FFA) 구조는 특징 주의(FA) 모듈로부터 적응적으로 특징 가중치를 학습하며, 중요한 특징에 더 큰 가중치를 부여한다. 이 구조는 얕은 계층의 정보를 유지하고 이를 깊은 계층으로 전달하는 기능도 수행한다.실험 결과, 제안한 FFA-Net은 정량적·정성적으로 기존 최고 성능의 단일 이미지 흐림 제거 방법들을 크게 능가함을 입증하였다. 특히 SOTS 실내 테스트 데이터셋에서 기존 최고 성능의 PSNR 지표 30.23dB를 36.39dB로 대폭 향상시켰다.코드는 GitHub에서 공개되어 있다.