7일 전

시각 변환기 기반 이미지 화이트닝을 위한 보완적 특징 강화 네트워크

Dong Zhao, Jia Li, Hongyu Li, Long Xu
시각 변환기 기반 이미지 화이트닝을 위한 보완적 특징 강화 네트워크
초록

기존의 CNN 기반의 안개 제거 모델은 두 가지 핵심적인 문제를 겪고 있다. 첫째, 안개 제거 프레임워크 자체가 해석 가능성에 한계가 있으며, 둘째, 컨볼루션 계층이 콘텐츠에 독립적이어서 장거리 종속성 정보를 효과적으로 학습하지 못한다는 점이다. 본 논문에서는 이러한 문제를 해결하기 위해 새로운 보완적 특징 강화 프레임워크를 제안한다. 이 프레임워크는 여러 보완적 하위 과제를 통해 보완적 특징을 학습하고, 이를 종합적으로 주 작업의 성능을 향상시키는 데 활용한다. 새로운 프레임워크의 주요 장점 중 하나는 의도적으로 선택된 보완적 과제들이 약한 종속성을 가진 보완적 특징에 집중할 수 있어, 네트워크 내에서 반복적이거나 비효율적인 학습을 피할 수 있다는 점이다. 이러한 프레임워크를 기반으로 새로운 안개 제거 네트워크를 설계하였다. 구체적으로, 내재 이미지 분해(Intrinsic Image Decomposition)를 보완적 과제로 선택하였으며, 반사율 추정 및 그림자 추정 하위 과제를 통해 색상 기반 및 텍스처 기반의 보완적 특징을 추출하였다. 이러한 보완적 특징을 효과적으로 통합하기 위해, 더 유용한 특징을 선택하여 안개 제거에 활용하는 보완적 특징 선택 모듈(Complementary Features Selection Module, CFSM)을 제안하였다. 또한, 새로운 형태의 비전 트랜스포머 블록인 하이브리드 로컬-글로벌 비전 트랜스포머(Hybrid Local-Global Vision Transformer, HyLoG-ViT)를 도입하여 본 안개 제거 네트워크에 통합하였다. HyLoG-ViT 블록은 로컬 및 글로벌 비전 트랜스포머 경로를 포함하여, 로컬 및 글로벌 종속성을 동시에 캡처할 수 있도록 설계되었다. 결과적으로 HyLoG-ViT는 네트워크 내에 국소성(locality)을 도입하면서도 글로벌 및 장거리 종속성을 효과적으로 포착할 수 있게 되었다. 동질적, 비동질적, 야간 안개 제거 등 다양한 태스크에 대한 광범위한 실험 결과를 통해, 제안하는 안개 제거 네트워크가 기존 CNN 기반 모델과 비교해 유사하거나 더 우수한 성능을 달성함을 확인하였다.

시각 변환기 기반 이미지 화이트닝을 위한 보완적 특징 강화 네트워크 | 최신 연구 논문 | HyperAI초신경