저조도 이미지 증강을 위한 의미 인지 지식 안내 학습

저조도 이미지 증강(LLIE)은 조도를 향상시켜 일반 조명 조건의 이미지를 생성하는 방법을 연구하는 분야이다. 기존 대부분의 방법들은 각 영역의 의미 정보를 고려하지 않고 전역적이고 균일한 방식으로 저조도 이미지를 개선한다. 의미 사전 지식이 부족할 경우, 네트워크는 특정 영역의 원래 색상에서 벗어나기 쉽다. 이러한 문제를 해결하기 위해, 의미 정보를 반영할 수 있는 새로운 지식 기반 프레임워크(SKF: Semantic-aware Knowledge-guided Framework)를 제안한다. 이 프레임워크는 의미 분할 모델 내에 포함된 풍부하고 다양한 사전 지식을 저조도 증강 모델이 학습할 수 있도록 지원한다. 본 연구는 의미 정보를 세 가지 핵심 측면에서 효과적으로 통합하는 데 집중한다. 첫째, 특징 표현 공간에서 의미 사전 지식을 지혜롭게 통합하는 의미 인식 임베딩 모듈을 도입한다. 둘째, 다양한 인스턴스의 색상 일관성을 유지하는 의미 기반 색상 히스토그램 손실을 제안한다. 셋째, 의미 사전 지식을 활용해 보다 자연스러운 질감을 생성하는 의미 기반 적대적 손실을 도입한다. 제안한 SKF는 LLIE 작업에서 일반적인 프레임워크로서의 매력을 지닌다. 광범위한 실험 결과를 통해 SKF를 탑재한 모델이 여러 데이터셋에서 기존 기준 모델보다 뛰어난 성능을 보이며, 다양한 모델과 시나리오에 잘 일반화됨을 확인하였다. 코드는 Semantic-Aware-Low-Light-Image-Enhancement에서 공개되어 있다.