다크 라이트: 외부 메모리를 활용한 저조도 이미지 증강

딥러닝 기반의 방법들은 강력한 모델링 능력을 바탕으로 놀라운 성공을 거두었다. 그러나 이러한 모델의 가중치는 전체 학습 데이터셋을 통해 학습되기 때문에, 학습된 강화 맵핑에서 샘플 고유의 특성을 무시하게 되는 문제가 발생한다. 이로 인해 학습 분포와 크게 다른 샘플에 대해 테스트 단계에서 효과적인 강화가 이루어지지 않는 상황이 발생한다. 본 논문에서는 저조도 이미지 강화를 위해 외부 메모리(external memory)를 도입하여 외부 메모리 증강 네트워크(EMNet)를 제안한다. 외부 메모리는 학습 데이터셋의 샘플 고유 특성을 포착함으로써 테스트 단계에서의 강화를 안내하는 것을 목적으로 한다. 학습된 메모리의 이점을 활용함으로써, 전체 데이터셋 내 참조 이미지의 보다 복잡한 분포를 “기억”할 수 있게 되어, 테스트 샘플에 대한 보다 적응적인 조정이 가능해진다. 모델의 능력을 further 증강하기 위해, 장거리 공간적 중복성을 효과적으로 포착하는 트랜스포머를 기준 네트워크로 채택하였다. 실험 결과는 제안한 방법이 우수한 성능을 보이며 최첨단 기법들을 능가함을 입증한다. 특히, 제안한 외부 메모리는 기존 어떤 방법에도 즉시 통합 가능한 플러그 앤 플레이(Plug-and-Play) 메커니즘임을 주목할 필요가 있다. 다양한 이미지 강화 방법과 외부 메모리의 통합 사례를 정성적 및 정량적으로 분석한 결과, 기존 강화 방법과 결합했을 때 본 연구에서 제안한 메모리 메커니즘이 효과적임을 추가로 확인할 수 있었다.