빛을 적응시키는 데 90K 매개변수만 필요하다: 이미지 향상 및 노출 보정을 위한 경량 트랜스포머

실제 환경에서 어려운 조명 조건(저조도, 노출 부족 및 과노출)은 시각적으로 불쾌한 모습을 초래할 뿐 아니라 컴퓨터 비전 작업에도 영향을 미칩니다. 카메라는 원시 RGB 데이터를 캡처한 후 이미지 신호 처리기(ISP)를 사용하여 표준 sRGB 이미지를 렌더링합니다. 이에 따라 ISP 파이프라인을 로컬 및 글로벌 이미지 구성요소로 분해하고, 저조도 또는 노출 부족/과노출 조건에서 정상적인 조명 상태의 sRGB 이미지를 복원하기 위한 경량화된 고속 조명 적응 변환기(Illumination Adaptive Transformer, IAT)를 제안합니다. 특히, IAT는 주의력 쿼리를 사용하여 색상 보정, 감마 보정 등의 ISP 관련 매개변수를 표현하고 조정합니다. 약 90,000개의 매개변수와 0.004초의 처리 속도로, 우리의 IAT는 현재 벤치마크 저조도 강화 및 노출 보정 데이터셋에서 최신 기술(SOTA)보다 우수한 성능을 일관되게 달성합니다. 경쟁력 있는 실험 결과는 또한 다양한 조명 조건 하에서 우리의 IAT가 객체 검출 및 의미 분할 작업을 크게 향상시키는 것을 입증합니다. 학습 코드와 사전 학습된 모델은 다음 링크에서 제공됩니다: https://github.com/cuiziteng/Illumination-Adaptive-Transformer.